调度系统对比
概述
调度系统是数据平台的"钟表"：Airflow（代码化）、DolphinScheduler（可视化）、Azkaban（轻量）、Oozie（Hadoop 老牌）。选型看团队风格、技术栈与运维能力。本文从架构、功能、生态多维度对比，给出选型与迁移指南。
一、系统概览
| 系统 | 出身 | 风格 | 语言 |
|---|---|---|---|
| Airflow | Airbnb | 代码化（Python） | Python |
| DolphinScheduler | 国内开源 | 可视化 | Java |
| Azkaban | 轻量配置 | Java | |
| Oozie | Apache/Hadoop | XML | Java |
定位：
Airflow：通用工作流（代码）
DolphinScheduler：可视化调度平台
Azkaban：轻量任务调度
Oozie：Hadoop 生态调度二、架构对比
| 系统 | 架构 | 存储 |
|---|---|---|
| Airflow | Scheduler + Executor + Worker | DB + XCom |
| DolphinScheduler | Master + Worker + Api + ZK | DB |
| Azkaban | Web + Executor | DB |
| Oozie | Server（依赖 Hadoop） | DB + HDFS |
| 系统 | 高可用 |
|---|---|
| Airflow | HA + 分布式执行 |
| DolphinScheduler | Master/Worker HA |
| Azkaban | 多 Executor |
| Oozie | 依赖 Hadoop HA |
三、功能对比
3.1 DAG 与依赖
| 系统 | DAG 定义 | 依赖 |
|---|---|---|
| Airflow | Python 代码 | 代码/外部 sensor |
| DolphinScheduler | 可视化 | 拖拽 |
| Azkaban | 配置文件 | flow 文件 |
| Oozie | XML | XML 定义 |
3.2 任务类型
| 系统 | 任务类型 |
|---|---|
| Airflow | 插件丰富（Python） |
| DolphinScheduler | 内置多类型（SQL/Spark/Flink） |
| Azkaban | 命令/脚本为主 |
| Oozie | MR/Hive/Pig/Sqoop |
3.3 调度能力
| 能力 | Airflow | Dolphin | Azkaban | Oozie |
|---|---|---|---|---|
| Cron 调度 | 是 | 是 | 是 | 是 |
| 可视化 | 弱 | 强 | 中 | 弱 |
| 补数 | 是 | 是 | 弱 | 是 |
| 告警 | 强 | 强 | 中 | 弱 |
| 重试 | 强 | 强 | 中 | 中 |
四、生态与运维
| 系统 | 生态 | 运维 |
|---|---|---|
| Airflow | Python 生态广 | 中（组件多） |
| DolphinScheduler | 国内成熟 | 中 |
| Azkaban | 轻量 | 简单 |
| Oozie | Hadoop 绑定 | 复杂 |
| 系统 | 学习成本 | 社区 |
|---|---|---|
| Airflow | 中（Python） | 国际活跃 |
| DolphinScheduler | 低（可视化） | 国内活跃 |
| Azkaban | 低 | 维护中 |
| Oozie | 高（XML） | 停滞 |
五、场景匹配
5.1 选型决策树
团队熟 Python + 复杂编排？ → Airflow
国内团队 + 可视化易用？ → DolphinScheduler
轻量简单任务？ → Azkaban
Hadoop 老生态？ → Oozie（新项目不建议）| 场景 | 推荐 |
|---|---|
| 数据工程复杂 DAG | Airflow |
| 大数据平台调度 | DolphinScheduler |
| 简单脚本调度 | Azkaban |
| 新项目 Hadoop | 不用 Oozie |
5.2 选择维度
| 维度 | 权重 |
|---|---|
| 团队技术栈 | 高 |
| 编排复杂度 | 高 |
| 可视化需求 | 中 |
| 运维能力 | 中 |
| 生态集成 | 中 |
六、迁移指南
6.1 为什么迁移
| 原因 | 说明 |
|---|---|
| Oozie 停滞 | 维护困难 |
| 可视化需求 | 提升效率 |
| 功能不足 | 告警/重试 |
| 统一平台 | 多系统合并 |
6.2 迁移步骤
1. 盘点现有任务（清单）
2. 映射任务类型（旧 → 新）
3. 重建 DAG/工作流
4. 参数与依赖迁移
5. 数据回填
6. 并行运行验证
7. 切换 + 下线旧系统6.3 迁移注意事项
| 注意 | 说明 |
|---|---|
| 任务语义 | 幂等 |
| 时间粒度 | 对齐 |
| 依赖 | 完整重建 |
| 告警 | 重新配置 |
| 灰度 | 并行过渡 |
迁移建议：
分批迁移（先非核心）
验证对账
保留回退七、选型建议
| 建议 | 说明 |
|---|---|
| 新项目默认 | Airflow 或 DolphinScheduler |
| 数据平台 | DolphinScheduler |
| 通用工作流 | Airflow |
| 避免 | Oozie（新） |
| 轻量 | Azkaban |
最终判断：
团队最熟的工具
满足编排 + 告警 + 运维常见问题速查
| 问题 | 要点 |
|---|---|
| Airflow vs Dolphin | 代码 vs 可视化 |
| Azkaban 适用 | 轻量 |
| Oozie 现状 | 老生态 |
| 怎么迁移 | 盘点→重建→灰度 |
| 新项目选什么 | Airflow/Dolphin |