Flink 状态管理

概述

状态是流处理"记住过去"的机制：聚合中间值、窗口数据、去重记录都依赖状态。Flink 提供算子状态与键控状态两类，以及 Memory/Fs/RocksDB 三种状态后端。本文讲透状态类型、API 用法与后端选型。

---

一、状态分类

类型	作用域	特点
键控状态（Keyed State）	每个 key 一份	与 keyBy 配合
算子状态（Operator State）	每个并行实例一份	与算子实例绑定

Keyed State：key1 → state，key2 → state（按 key 隔离）
Operator State：算子的每个并行子任务一份状态

---

二、键控状态类型

2.1 五种状态

状态	结构	适用
ValueState	单值	计数器、最新值
ListState	列表	收集元素
MapState	Map	键值映射
ReducingState	归约值	增量聚合
AggregatingState	聚合值	复杂聚合

2.2 状态描述符

描述符	用途
ValueStateDescriptor	单值状态
ListStateDescriptor	列表状态
MapStateDescriptor	Map 状态
ReducingStateDescriptor	归约状态
AggregatingStateDescriptor	聚合状态

---

三、状态使用

3.1 获取与读写

// 定义状态描述符
ValueStateDescriptor<Long> desc =
  new ValueStateDescriptor<>("count", Long.class);

// 在 ProcessFunction 中获取
@Override
public void processElement(...) {
  ValueState<Long> count = ctx.getState(desc);
  Long cur = count.value();          // 读
  count.update(cur == null ? 1 : cur + 1);  // 写
}

3.2 状态清空

state.clear();          // 清当前 key 状态

注意	说明
状态需在 open/字段初始化	提前注册描述符
状态按 key 隔离	不同 key 不互相影响
需清理	不清理会无限增长

3.3 状态 TTL

StateTtlConfig ttl = StateTtlConfig
  .newBuilder(Time.minutes(10))
  .setUpdateType(StateTtlConfig.UpdateType.OnReadAndWrite)
  .build();
desc.enableTimeToLive(ttl);

TTL 配置	说明
过期时间	状态超过 TTL 被清理
更新类型	读写时更新/仅写更新
清理策略	惰性/全量扫描

---

四、算子状态

4.1 类型

状态	说明
ListState	列表状态（可重分布）
UnionListState	联合列表
BroadcastState	广播状态

4.2 使用场景

场景	说明
Source offset	记录消费位置
广播配置	规则实时更新
自定义分区恢复	列表状态重分配

---

五、状态后端

5.1 三种后端

后端	存储	特点
MemoryStateBackend	JVM 堆	快、容量小、测试用
FsStateBackend	堆 + 文件系统	生产常用，Checkpoint 存 HDFS
RocksDBStateBackend	RocksDB（本地磁盘）	海量状态、增量 Checkpoint

5.2 对比

维度	Memory	Fs	RocksDB
状态容量	小（受 JVM 限制）	中等	大（磁盘）
性能	最快	快	较慢（序列化）
Checkpoint	内存复制	全量/增量快照	增量快照
适用	测试	中等状态	超大状态

5.3 选型

状态小（< 几 GB）  → FsStateBackend
状态巨大（几十 GB+）→ RocksDBStateBackend
仅测试            → MemoryStateBackend

5.4 配置

# flink-conf.yaml
state.backend: rocksdb
state.checkpoints.dir: hdfs:///flink/checkpoints
state.backend.incremental: true

---

六、状态与容错

6.1 状态持久化

Checkpoint：周期性把状态快照写入可靠存储
故障恢复：从最近 Checkpoint 恢复状态

后端	Checkpoint 方式
Fs	全量快照（或增量）
RocksDB	增量快照（高效）

6.2 状态恢复粒度

级别	说明
Task 级	单 Task 从快照恢复
作业级	全作业重启恢复

---

七、状态最佳实践

实践	说明
只存必要数据	状态越大恢复越慢
设置 TTL	防状态无限增长
预聚合	状态存聚合值而非全量数据
合理后端	大数据量用 RocksDB
增量 Checkpoint	RocksDB 下开启

---

常见问题速查

问题	原因与处理
状态无限增长	未设 TTL，配置过期清理
恢复慢	状态太大，优化存储或增量 Checkpoint
反序列化失败	状态类型与版本不兼容，升级注意
状态丢失	并行度变更未处理，或用算子状态
大状态 GC 严重	换 RocksDB 后端