全栈攻城狮

Appearance

Debezium 深入 ​

概述 ​

Debezium 是基于 Kafka Connect 的开源 CDC 平台，把数据库变更变成结构化事件流入 Kafka。核心能力：全量快照与增量无缝衔接、多数据库支持、Schema 变更处理。本文讲透 Snapshot 模式、Kafka Connect 集成、Schema 变更与 Exactly-Once。

一、Debezium 定位 ​

特性说明
定位分布式 CDC 平台
架构Kafka Connect Connector
源MySQL/PG/Oracle/SQL Server/MongoDB
输出Kafka Topic
事件结构化变更（Debezium 格式）
事件格式：
  {
    "before": {...},
    "after": {...},
    "op": "c/u/d/r",      -- 操作
    "source": {...},       -- 源元数据
    "ts_ms": ...           -- 时间戳
  }

二、Kafka Connect 集成 ​

2.1 架构 ​

Kafka Connect（分布式）
 ├── Source Connector（Debezium 等）
 │    数据库 → Kafka
 └── Sink Connector
      Kafka → 目标
组件说明
Connector任务定义
Task执行单元
Worker运行节点
REST API管理接口

2.2 部署 ​

json
// 提交 Connector
POST /connectors
{
  "name": "mysql-orders-connector",
  "config": {
    "connector.class": "io.debezium.connector.mysql.MySqlConnector",
    "database.hostname": "mysql",
    "database.port": "3306",
    "database.user": "debezium",
    "database.password": "***",
    "database.server.name": "orders",
    "database.include.list": "orderdb",
    "table.include.list": "orderdb.orders",
    "database.history.kafka.topic": "dbhistory.orders",
    "topic.prefix": "orders"
  }
}
配置说明
connector.class连接器类
server.name / topic.prefixTopic 前缀
include.list库表过滤
history.topicSchema 历史

2.3 Topic 结构 ​

topic 命名：{prefix}.{db}.{table}
  orders.orderdb.orders
消息 key：主键，value：变更事件

三、Snapshot 模式 ​

3.1 全量快照（Initial Snapshot） ​

首次启动：
  1. 记录 binlog 位点（起点）
  2. 全量导出当前数据
  3. 期间新变更存 binlog
  4. 全量完成后从位点续传增量
  5. 无缝衔接（快照事件 op=r + 增量）
阶段说明
快照全量当前数据
位点记录起点
增量续传变更
衔接无重复无丢失

3.2 增量快照（Incremental Snapshot） ​

大数据量快照分批：
  按主键分块逐步抓取
  不阻塞写入
对比全量快照增量快照
数据量一次性分批
阻塞有影响低
恢复重来续传

3.3 快照一致性 ​

快照与增量使用同一快照位点：
  保证一致性快照（MVCC）
  不丢不重

四、Schema 变更处理 ​

4.1 Schema 历史 ​

数据库 DDL 变更（加列等）：
  Debezium 记录 Schema 历史
  变更事件带新 Schema
机制说明
Database History记录 DDL 历史
Schema 变更事件DDL 也发 Kafka
兼容新旧数据混读
DDL 处理：
  加列 → 事件 schema 更新
  下游需适配（如演进）

4.2 与 Schema Registry ​

Avro 格式 + Schema Registry：
  统一管理 schema
  兼容性检查
好处说明
版本管理Schema 演进
兼容检查防破坏
下游消费自动适配

五、Exactly-Once 语义 ​

5.1 挑战 ​

CDC 的 exactly-once：
  数据不丢不重
  端到端一致

5.2 实现层次 ​

层保证
Connector 内位点 + 事务
Kafka 内幂等/事务
端到端幂等下游

5.3 关键机制 ​

机制说明
OffsetConnector 记录消费位点
事务binlog 事务边界
幂等事件含主键可去重
下游事务写入/幂等
Exactly-Once 依赖：
  Kafka 事务 + 幂等 Sink
  或下游唯一键去重

5.4 常见语义 ​

语义说明
At-least-once可能重复（默认）
Exactly-once需事务配合
建议幂等兜底

六、部署模式 ​

模式说明
Single Node单机
DistributedKafka Connect 集群
Embedded内嵌（Flink 等）
场景模式
简单Single
生产Distributed
FlinkEmbedded / Flink CDC

七、运维要点 ​

要点说明
监控位点/延迟/任务状态
扩容任务并行
恢复从位点续传
多实例表级并发
幂等下游设计

7.1 常见问题 ​

问题处理
延迟大扩 Task/并行
重复事件下游幂等
DDL 破坏Schema 兼容
快照慢增量快照
位点丢失重启恢复

常见问题速查 ​

问题要点
快照+增量怎么衔接位点记录
增量快照分批不阻塞
DDL 怎么办Schema 历史
Exactly-Once事务 + 幂等
与 Kafka 关系Connect 生态