全栈攻城狮

Appearance

ClickHouse 表引擎深入 ​

概述 ​

表引擎决定数据如何存储、合并与查询。ClickHouse 以 MergeTree 为基座衍生出去重（Replacing）、预聚合（Summing/Aggregating）等变体，加上 Distributed 分布式表构成完整体系。本文逐一讲透。

一、引擎体系 ​

MergeTree（基座）
 ├── ReplacingMergeTree（去重）
 ├── SummingMergeTree（求和预聚合）
 ├── AggregatingMergeTree（聚合预聚合）
 ├── CollapsingMergeTree（折叠删除）
 └── VersionedCollapsingMergeTree（版本折叠）
分布式：Distributed（集群表）
引擎核心能力
MergeTree分区 + 排序 + 稀疏索引
Replacing同排序键去重
Summing数值列求和合并
Aggregating任意聚合函数预聚合

二、MergeTree（基座） ​

sql
CREATE TABLE events (
  event_date Date,
  event_type String,
  count UInt64
) ENGINE = MergeTree
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, event_type)
SETTINGS index_granularity = 8192;
参数说明
PARTITION BY分区键
ORDER BY排序键（主键基础）
index_granularity索引粒度
SETTINGS表级配置
适用：通用明细存储

三、ReplacingMergeTree（去重） ​

3.1 作用 ​

合并时，相同排序键只保留一条：
  适合"最后状态"类数据（如最新快照）
sql
CREATE TABLE user_last (
  user_id UInt64,
  name String,
  updated_at DateTime
) ENGINE = ReplacingMergeTree(updated_at)   -- 取最新
ORDER BY user_id;
要点说明
去重键ORDER BY 字段
保留默认保留一条（可指定版本列取最新）
合并时后台合并时去重

3.2 注意 ​

注意说明
非实时去重合并前查询可能见重复
强制合并OPTIMIZE FINAL
适用可容忍短暂重复

四、SummingMergeTree（求和预聚合） ​

4.1 作用 ​

合并时，数值列自动求和：
  明细 → 汇总（减少数据量）
sql
CREATE TABLE page_sum (
  page_date Date,
  page String,
  pv UInt64,
  uv UInt64
) ENGINE = SummingMergeTree()
ORDER BY (page_date, page);
要点说明
求和列除排序键外数值列
合并同排序键求和
效果数据量骤减

4.2 使用 ​

写入明细 → 后台合并成汇总
查询返回已是汇总（近似实时）
适用说明
计数类PV/点击量
求和类金额/时长
注意查询仍需 SUM（合并非全量）

五、AggregatingMergeTree（聚合预聚合） ​

5.1 作用 ​

支持任意聚合函数（sum/avg/uniq 等）：
  用 AggregateFunction 类型存储中间状态
sql
CREATE TABLE agg_events (
  event_date Date,
  city String,
  pv AggregateFunction(sum, UInt64),
  uv AggregateFunction(uniq, UInt64)
) ENGINE = AggregatingMergeTree()
ORDER BY (event_date, city);

5.2 写入与查询 ​

sql
-- 写入（聚合状态）
INSERT INTO agg_events
SELECT event_date, city,
  sumState(count),      -- 状态化写入
  uniqState(user_id)
FROM events GROUP BY event_date, city;

-- 查询（聚合状态展开）
SELECT event_date, sumMerge(pv), uniqMerge(uv)
FROM agg_events GROUP BY event_date;
函数说明
sumState/sumMerge状态写入/展开
uniqState/uniqMerge去重状态
avgState/avgMerge均值
适用说明
超大规模聚合亿级以上
复杂去重uniq 状态
注意需状态化函数

六、CollapsingMergeTree（折叠） ​

6.1 作用 ​

用符号（+1/-1）标记行，合并时正负抵消：
  支持高效删除/更新
sql
CREATE TABLE collapsible (
  key UInt64,
  sign Int8,          -- 1 或 -1
  value UInt64
) ENGINE = CollapsingMergeTree(sign)
ORDER BY key;
要点说明
标记列sign（+1 新数据，-1 删除）
合并正负抵消
查询需 sum(sign) 过滤
适用：需要更新/删除的计费、库存场景

七、分布式表（Distributed） ​

7.1 作用 ​

集群内多分片统一查询入口：
  本地表（各节点）+ 分布式表（入口）
sql
-- 各节点建本地表
CREATE TABLE events_local ON CLUSTER cluster
  (event_date Date, count UInt64)
ENGINE = MergeTree()
ORDER BY event_date;

-- 建分布式表
CREATE TABLE events_distributed ON CLUSTER cluster
  AS events_local
ENGINE = Distributed(cluster, default, events_local, rand());
参数说明
cluster集群名
database库名
本地表实际数据
分片键分布策略（rand/列哈希）

7.2 读写 ​

写：写分布式表 → 按分片键路由到各节点
读：分布式表 → 各分片并行查 → 合并
特点说明
透明应用无感
并行分片并行
就近读写本地

八、引擎选型 ​

场景引擎
明细存储MergeTree
最新状态ReplacingMergeTree
计数汇总SummingMergeTree
超大聚合AggregatingMergeTree
更新删除CollapsingMergeTree
集群查询Distributed
选型原则说明
先定业务明细/汇总/去重
再选引擎匹配能力
组合使用多引擎协同

常见问题速查 ​

问题原因与处理
重复数据用 Replacing/折叠引擎
查询未预聚合检查聚合引擎与状态函数
分布式写不均分片键设计
part 过多合并压力，调整分区
更新删除难折叠引擎或重写