全栈攻城狮

Appearance

Apache SeaTunnel 与 DataX ​

概述 ​

SeaTunnel 与 DataX 是两类常用的数据同步引擎：DataX 是阿里离线批量同步工具，SeaTunnel 是 Apache 社区离线 + 流式统一的同步平台。两者都采用插件化架构，支持多源多目标、限流、断点与脏数据处理。本文逐一讲透。

一、工具定位 ​

工具定位特点
DataX离线批量同步稳定、插件多
SeaTunnel离线 + 流式统一、易用
对比DataXSeaTunnel
实时否支持（流式）
配置JSON配置/UI
部署单机集群
生态插件插件 + 引擎
选型：
  纯离线 → DataX
  离线+实时 → SeaTunnel

二、插件化架构 ​

2.1 插件模型 ​

同步作业 = Reader（读源）+ Transformer（转换） + Writer（写目标）

插件：
  Source（数据源读取）
  Transform（转换/过滤）
  Sink（目标写入）
插件示例
SourceMySQL/JDBC/Hive/Kafka/S3
Transform过滤/映射/补列
SinkMySQL/ES/Hive/Doris/ClickHouse

2.2 DataX 插件 ​

reader：mysqlreader、hdfsreader、mongodbreader...
writer：mysqlwriter、hdfs writer、eswriter...

通道（Channel）：
  并发执行
  限速

2.3 SeaTunnel 插件 ​

connector：
  jdbc、kafka、hive、s3、doris、clickhouse...

引擎：
  可基于 Spark/Flink 或自研 Zeta
插件化收益：
  新源/目标加插件即可
  统一抽象

三、多源读写 ​

3.1 DataX 多源 ​

json
{
  "job": {
    "content": [{
      "reader": {
        "name": "mysqlreader",
        "parameter": {
          "username": "root",
          "password": "***",
          "column": ["id", "name"],
          "splitPk": "id",
          "connection": [{
            "jdbcUrl": ["jdbc:mysql://mysql:3306/db"],
            "table": ["orders"]
          }]
        }
      },
      "writer": {
        "name": "hdfswriter",
        "parameter": { "defaultFS": "hdfs://nn:9000", "path": "/data/orders", "fileType": "parquet" }
      }
    }],
    "setting": { "speed": { "channel": 4 } }
  }
}
配置说明
reader源插件与参数
writer目标插件与参数
splitPk分片字段
speed.channel并发通道

3.2 SeaTunnel 多源 ​

conf
env { parallelism = 4 }
source {
  Jdbc { url = "jdbc:mysql://mysql:3306/db"
         user = "root" password = "***"
         table = "orders" }
}
sink {
  Doris { fenodes = "doris:8030"
          table = "dws.orders" }
}
多源支持：
  多 source 合并
  多 sink 分发
  条件路由

四、限流 ​

4.1 作用 ​

防止同步压垮源库/目标：
  控制速率、保护业务

4.2 DataX 限速 ​

参数说明
speed.channel并发数
speed.byte字节速率
speed.record行速率
json
"setting": { "speed": { "channel": 4, "byte": 10485760 } }

4.3 SeaTunnel 限流 ​

conf
env { parallelism = 2 }
transform { ... }
# 通过并行度与配置限速
方式说明
并行度控制并发
限流插件速率控制
队列缓冲

五、断点续传 ​

5.1 问题 ​

大任务中断 → 全部重来

5.2 DataX 断点 ​

基于 splitPk 分片：
  任务按主键分片
  失败 → 重跑未完成分片
说明要点
分片splitPk 字段分片
重跑增量区间
幂等覆盖/去重

5.3 SeaTunnel 断点 ​

支持 checkpoint/offset：
  流式：位点恢复
  批量：分片状态
机制说明
checkpoint状态快照
位点Kafka offset 等
恢复从断点继续

六、脏数据处理 ​

6.1 脏数据 ​

同步失败的记录：
  类型不匹配
  唯一键冲突
  转换失败

6.2 处理策略 ​

策略说明
跳过并记录脏数据日志
重试限次重试
置脏表单独存储
告警超阈值通知
DataX 脏数据处理：
  errorLimit（容忍上限）
  超过 → 任务失败
参数说明
errorLimit.record允许脏行数
errorLimit.percentage允许比例
SeaTunnel 脏数据：
  写入指定表/侧输出
  统计与监控

6.3 质量保障 ​

手段说明
类型校验写入前校验
主键冲突更新策略
监控脏数据率

七、性能调优 ​

7.1 调优维度 ​

维度说明
并行度通道/并行数
批大小批量写入
网络带宽
资源内存/CPU
索引目标写入优化

7.2 DataX 调优 ​

参数说明
channel合理并发（与源/目标匹配）
batchSize批量
内存JVM 堆
并发建议：
  源/目标支持度决定
  过高反而慢（锁/连接）

7.3 SeaTunnel 调优 ​

参数说明
parallelism并行度
sink 批量目标批量参数
引擎Zeta 内存配置
调优方法：
  压测 → 观察吞吐
  逐步加并发
  找瓶颈（源/转换/目标）

八、选型与使用建议 ​

场景工具
纯离线批量DataX
离线+实时统一SeaTunnel
多源多目标SeaTunnel
已有插件需求看生态
建议说明
先全量后增量组合方案
限流保护生产必配
断点设计大任务
脏数据监控质量
幂等可重跑

常见问题速查 ​

问题原因与处理
同步慢并发/批量/瓶颈
中断重来分片续传
脏数据校验/置脏
压垮源库限流
数据重复幂等