全栈攻城狮

Appearance

Apache Druid 深入 ​

概述 ​

Apache Druid 是专为时序事件数据设计的实时分析数据库：以时间为中心分区、Segment 不可变存储、原生实时摄入。广泛用于监控、用户行为分析、实时大屏。本文讲透列式存储、时间分区、Segment、数据摄入与实时/批量架构。

一、Druid 定位 ​

特性说明
类型时序 OLAP
核心实时摄入 + 时间分区
数据事件流（带时间戳）
场景监控、行为分析、实时大屏
与普通 OLAP 差异说明
时间维度数据以时间组织
摄入原生流式（推/拉）
查询时间范围 + 聚合

二、列式存储 ​

2.1 存储格式 ​

数据按列存储（列式）：
  只读所需列
  高压缩
列类型说明
维度列字典编码
指标列数值压缩
时间列分区依据

2.2 优势 ​

优势说明
扫描快少读列
压缩高字典/压缩
聚合快列计算

三、时间分区 ​

3.1 分区方式 ​

数据按时间范围分区：
  Segment 按时间间隔切分
  查询按时间裁剪
粒度说明
分区粒度小时/天
Segment时间范围内一个分区
裁剪跳过无关时间
查询 WHERE 时间范围
→ 只扫相关 Segment

3.2 段内组织 ​

Segment 内：
  按时间排序
  列式 + 索引
  不可变（追加新段）

四、Segment ​

4.1 概念 ​

Segment = 数据不可变存储单元：
  一段时间范围的数据（按时间粒度切分）
  自包含（元数据 + 数据）
  分布在 Historical 节点
特性说明
不可变写后只读
自包含独立加载
分布多副本
生命周期从实时到历史

4.2 Segment 流转 ​

实时段 → 定时落盘 → 历史段
  实时节点持有 → 发布 → Historical 节点
阶段节点
摄入MiddleManager
实时查询实时节点
历史存储Historical
合并Coordinator

五、数据摄入 ​

5.1 摄入方式 ​

方式说明
推送（Push）直接发给 MiddleManager
拉取（Pull）从 Kafka 等拉取
批摄入文件批量
实时摄入：
  Kafka 主题 → 实时任务 → Segment
  延迟秒级可见

5.2 摄入配置（以 Kafka 为例） ​

json
{
  "type": "kafka",
  "dataSchema": {
    "dataSource": "events",
    "timestampColumn": "ts",
    "dimensions": ["city", "event_type"],
    "metrics": [{"name": "count", "type": "long"}]
  },
  "ioConfig": {
    "topic": "events",
    "consumerProperties": {"bootstrap.servers": "kafka:9092"}
  },
  "granularitySpec": {
    "segmentGranularity": "HOUR",
    "queryGranularity": "MINUTE"
  }
}
配置说明
timestampColumn时间列
dimensions维度
metrics指标
segmentGranularity段粒度
queryGranularity聚合粒度

5.3 摄入优化 ​

优化说明
分区数与并行匹配
批量批量提交
指标预聚合减少数据量
采样可选

六、实时/批量摄入架构 ​

6.1 实时链路 ​

Kafka → MiddleManager（实时任务）
  → 实时 Segment（查询可见）
  → 落盘发布 → Historical

6.2 批量链路 ​

HDFS/文件 → 批摄入任务
  → Segment → Historical
对比实时批量
来源Kafka文件/湖
延迟秒级分钟+
用途实时指标历史加载

6.3 混合 ​

实时覆盖近期 + 批量加载历史：
  统一查询（时间范围合并）

七、查询 ​

7.1 查询类型 ​

类型说明
原生 JSON 查询Timeseries/TopN/GroupBy
SQL类 SQL（Calcite）
过滤时间 + 维度
SQL 示例：
SELECT city, COUNT(*) FROM events
WHERE ts >= '2026-08-04 10:00:00'
GROUP BY city;

7.2 查询流程 ​

Broker 节点：
  1. 接收查询
  2. 分发到各节点
  3. 合并结果
节点职责
Broker查询入口
Historical历史段查询
实时节点实时段查询

八、架构组件 ​

组件职责
Coordinator段分配/管理
Overlord任务调度
MiddleManager摄入执行
Historical历史数据
Broker查询路由
ZK/Metastore协调元数据
多节点扩展：
  Historical 扩存储
  MiddleManager 扩摄入
  Broker 扩查询并发

九、适用与限制 ​

9.1 适用 ​

场景说明
监控指标时间序列
用户行为事件分析
实时大屏秒级聚合
日志分析时间查询

9.2 限制 ​

限制说明
复杂 Join 弱需预宽表
更新难Segment 不可变
运维复杂组件多
明细查询弱聚合为主

常见问题速查 ​

问题原因与处理
查询慢检查时间裁剪/粒度
摄入积压扩 MiddleManager
段太多调整段粒度/合并
实时数据丢检查 Kafka 位点
Join 弱预宽表摄入