全栈攻城狮

Appearance

DolphinScheduler 深入 ​

概述 ​

Apache DolphinScheduler 是国产开源的工作流调度平台：可视化 DAG 编排、多租户隔离、完善的任务类型与告警。广泛用于国内大数据平台的离线任务调度。本文讲透 DAG 编排、工作流定义、租户/告警/环境管理与多租户架构。

一、DolphinScheduler 定位 ​

特性说明
类型可视化工作流调度
特点可视化、易用
任务多类型
租户多租户隔离
部署前后端分离
与 Airflow 对比：
  DolphinScheduler 可视化 + 中文生态
  Airflow 代码化 + Python 生态

二、核心组件 ​

MasterServer（调度/分片）
WorkerServer（任务执行）
ApiServer（API/前端）
ZooKeeper（协调）
数据库（元数据）
组件职责
Master任务分发、容错
Worker执行任务
Api管理接口
ZK注册/选举
DB元数据
HA：
  Master/Worker 多节点
  ZK 协调

三、DAG 任务编排 ​

3.1 概念 ​

工作流（Process）= DAG
  任务节点 + 依赖边
概念说明
工作流定义DAG 模板
任务节点执行单元
依赖上下游
工作流实例一次运行
任务实例任务一次运行

3.2 任务类型 ​

类型说明
SHELLShell 脚本
SQL数据库任务
SparkSpark 任务
FlinkFlink 任务
PythonPython
HTTP接口
子流程嵌套 DAG
依赖任务等待外部
编排方式：
  前端拖拽连线
  或 YAML/代码导入

四、工作流定义 ​

4.1 定义要素 ​

要素说明
名称/分组标识
调度周期（Cron）
参数全局/局部
优先级任务级别
失败策略继续/结束
通知告警

4.2 调度与运行 ​

方式说明
Cron 调度定时
手动触发立即
补数指定日期范围
定时+手动组合
运行模式：
  串行/并行
  失败重试
  超时

4.3 参数传递 ​

参数：
  全局参数（工作流级）
  局部参数（任务级）
  上游输出 → 下游
  时间参数（${system.biz.date}）

五、租户管理 ​

5.1 概念 ​

租户 = 资源隔离单元：
  对应 Linux 用户/组
  任务以租户身份执行
元素说明
租户用户映射
用户平台用户
项目工作流分组
队列资源队列

5.2 多租户隔离 ​

隔离维度说明
项目隔离项目独立工作流
权限项目/工作流权限
执行身份Linux 用户
资源文件资源隔离
权限模型：
  管理员 → 用户 → 项目 → 工作流
  RBAC 控制

六、告警管理 ​

6.1 告警类型 ​

告警说明
任务失败执行失败
工作流失败整体失败
超时执行超时
成功通知可选

6.2 告警渠道 ​

渠道说明
邮件内置
钉钉机器人
企微机器人
飞书机器人
Webhook通用
配置：
  告警组（接收人）
  工作流绑定告警组
  触发条件

6.3 告警设计 ​

设计说明
失败必告警关键任务
分级失败/延迟
去重避免轰炸
关联日志快速定位

七、环境管理 ​

7.1 作用 ​

任务执行环境：
  定义 Worker 分组
  环境变量/路径
  资源管理
环境说明
Worker 分组指定执行节点
环境变量通用配置
资源文件上传/引用

7.2 资源管理 ​

文件资源：
  Shell 脚本、JAR、配置文件
  项目级共享
资源目录：
  /dolphinscheduler/resources
  按项目隔离

八、多租户架构设计 ​

8.1 架构 ​

平台层：用户/权限/项目
调度层：Master（HA）
执行层：Worker 分组（多集群）
资源层：租户隔离 + 队列
层设计
租户Linux 用户隔离
项目业务分组
Worker分组/标签
队列资源限制

8.2 隔离策略 ​

策略说明
项目级业务隔离
用户级权限隔离
执行级用户身份
资源级队列/配额
多团队场景：
  各团队独立项目
  共享调度集群
  资源按队列限制

九、运维要点 ​

要点说明
高可用Master/Worker 多节点
监控任务状态/延迟
日志集中收集
容错任务重试/恢复
升级兼容性
常见问题：
  任务挂死 → 超时
  资源不足 → 队列
  权限问题 → 租户

常见问题速查 ​

问题要点
核心组件Master/Worker/Api
DAG 怎么编可视化拖拽
租户作用资源隔离
告警渠道钉钉/企微/邮件
多租户项目+用户+队列
与 Airflow 区别可视化 vs 代码