Flink 调优
概述
Flink 作业性能问题集中表现为：反压（下游处理不过来）、数据倾斜（个别 key 拖垮任务）、序列化与网络开销。本文按维度给出调优方法与排查路径，覆盖反压、倾斜、网络缓存、序列化与状态后端选型。
一、反压（Backpressure）
1.1 什么是反压
下游处理慢 → 缓冲占满 → 阻塞上游 → 逐级反压到 Source1.2 识别
| 方法 | 说明 |
|---|---|
| UI Backpressure 面板 | 查看各任务反压等级 |
| 指标 | 缓冲占用、线程阻塞 |
| 日志 | 排查积压 |
1.3 处理
| 手段 | 说明 |
|---|---|
| 定位瓶颈算子 | 反压源头是处理慢的算子 |
| 优化算子 | 减少计算/IO |
| 扩容 | 增加并行度 |
| 分区均衡 | 检查 key 分布 |
排查顺序：
反压位置 → 是计算慢还是 IO 慢
计算慢：优化逻辑/扩容
IO 慢：检查外部系统/Sink二、数据倾斜
2.1 表现
| 症状 | 原因 |
|---|---|
| 个别 subtask 积压 | key 分布不均 |
| 单 task 内存高 | 热点 key 状态大 |
2.2 处理
| 手段 | 说明 |
|---|---|
| 加盐 | 热点 key 加随机前缀 |
| 两阶段聚合 | 局部 + 全局 |
| 预聚合 | Source 端先聚合 |
| 重分区 | 自定义分区器 |
| 调整并行度 | 分散压力 |
2.3 加盐示例（Table）
sql
-- 第一阶段：加盐
SELECT key, SUM(v) FROM t
GROUP BY CONCAT(key, '_', MOD(CAST(RAND()*10 AS INT), 10));
-- 第二阶段：去盐
SELECT key, SUM(s) FROM (
SELECT SUBSTRING(key, 1, ...) AS key, SUM(v) AS s
...
) GROUP BY key;三、网络缓存
3.1 网络缓冲
| 参数 | 说明 |
|---|---|
taskmanager.memory.network.size | 网络缓冲内存 |
taskmanager.network.memory.min/max | 范围 |
taskmanager.network.memory.buffers-per-channel | 每通道缓冲 |
| 场景 | 调整 |
|---|---|
| 高吞吐 Shuffle | 调大 network 内存 |
| 大量通道 | 增加每通道缓冲 |
3.2 缓冲超时
| 参数 | 默认 | 说明 |
|---|---|---|
execution.buffer-timeout | 100ms | 缓冲刷出间隔 |
调小 → 延迟低、吞吐低
调大 → 吞吐高、延迟高3.3 数据压缩
| 参数 | 说明 |
|---|---|
taskmanager.data.port | 数据端口 |
| 压缩 | 网络传输压缩（可选） |
四、序列化
4.1 序列化框架
Flink 使用 TypeInformation + 原生序列化器（高效），比 Java/Kryo 更优：
| 框架 | 说明 |
|---|---|
| Flink 原生 | POJO/Tuple 高效序列化 |
| Kryo | 兜底（无法推断类型时） |
| Java | 尽量避免 |
4.2 优化
| 手段 | 说明 |
|---|---|
| 用 POJO/Tuple | 触发 Flink 原生序列化 |
| 避免 Kryo | 为自定义类注册序列化器 |
| 减少序列化对象 | 传递精简对象 |
| 泛型擦除 | 明确类型信息 |
java
// 注册自定义序列化器，避免 Kryo
env.getConfig().registerTypeWithKryoSerializer(
MyClass.class, MySerializer.class);五、State Backend 选型
5.1 对比
| 后端 | 容量 | 性能 | 场景 |
|---|---|---|---|
| Memory | 小 | 快 | 测试 |
| Fs | 中 | 快 | 中等状态 |
| RocksDB | 大 | 较慢 | 大状态 |
5.2 选型决策
状态小（< 几 GB） → FsStateBackend
状态大（几十 GB+）→ RocksDB + 增量 Checkpoint
延迟敏感 + 大状态 → RocksDB（权衡）5.3 RocksDB 调优
| 参数 | 说明 |
|---|---|
state.backend.rocksdb.memory.managed | 托管内存 |
state.backend.incremental | 增量快照 |
| 读写缓冲 | 调优 block cache |
state.backend.rocksdb.local-recovery | 本地恢复 |
六、Checkpoint 调优
| 场景 | 优化 |
|---|---|
| 快照失败 | 调大超时、检查背压 |
| 恢复慢 | 增量快照 + 本地恢复 |
| 频率不当 | 调整间隔与最小间隔 |
| 对齐延迟 | 减少输入流数量 |
七、调优总流程
1. 看 UI：反压、耗时、Checkpoint 状态
2. 定位瓶颈：反压源头 / 慢 Task / 倾斜
3. 对症处理：
- 反压 → 优化瓶颈算子或扩容
- 倾斜 → 加盐/两阶段/重分区
- GC 高 → 内存与序列化
- Checkpoint 失败 → 超时与背压
4. 验证：对比调优前后指标7.1 关键监控指标
| 指标 | 说明 |
|---|---|
| 吞吐（Records/sec） | 处理速率 |
| 反压等级 | 是否反压 |
| Checkpoint 耗时/失败 | 快照健康 |
| GC 时间 | 内存压力 |
| 背压时间占比 | 性能瓶颈 |
常见问题速查
| 问题 | 原因与处理 |
|---|---|
| 持续反压 | 瓶颈算子优化/扩容 |
| 单 Task 积压 | 数据倾斜，加盐 |
| GC 频繁 | 内存小或序列化差 |
| Checkpoint 失败 | 背压或超时，调整 |
| 网络瓶颈 | 调大 network 缓冲 |
| 状态恢复慢 | RocksDB 增量 + 本地恢复 |