Event Time 与 Watermark

概述

实时流中数据乱序与延迟到达是常态，按处理时间计算会产生错误结果。Flink 用 Event Time（事件时间）+ Watermark（水位线） 解决：水位线声明"早于此刻的事件不会再来"，据此关闭窗口。本文讲透乱序处理、水位线生成策略、Allowed Lateness 与侧输出。

---

一、三种时间

时间	含义	特点
Event Time	事件产生时间（业务字段）	正确反映业务
Processing Time	处理时刻	最快，但结果受速度影响
Ingestion Time	进入系统时刻	介于两者

对比	Event Time	Processing Time
正确性	按业务时间聚合	受到达顺序影响
乱序	可容忍	不处理
使用	生产主流	简单/低要求场景

---

二、乱序问题

2.1 问题场景

事件产生：t1 t2 t3 t4 t5（业务时间）
实际到达：t3 t1 t5 t2 t4（乱序）

按到达顺序计算 → 窗口统计错误

2.2 解决思路

1. 以 Event Time 切窗口
2. 用 Watermark 表示"完整"时间点
3. 水位线之后到达的算迟到，特殊处理

---

三、Watermark 水位线

3.1 定义

Watermark(t) = 已观察到的最大事件时间 - 容忍延迟

语义：早于 Watermark 的事件不会再到达

3.2 作用

作用	说明
触发窗口计算	水位线越过窗口结束即触发
声明完整	该时间点前的数据齐全
清理状态	过期窗口与状态清理

3.3 示例

容忍延迟 10s，事件时间最大 12:00:00
水位线 = 11:59:50
→ 事件时间 < 11:59:50 视为迟到（丢弃/侧输出）

---

四、Watermark 生成策略

4.1 周期性生成（推荐）

stream.assignTimestampsAndWatermarks(
  WatermarkStrategy.<Order>forBoundedOutOfOrderness(
      Duration.ofSeconds(10))          // 容忍乱序 10 秒
    .withTimestampAssigner((event, ts) -> event.getTs())
);

4.2 策略类型

策略	说明
forBoundedOutOfOrderness	固定乱序容忍
forMonotonousTimestamps	假设单调递增（无乱序）
自定义	完全控制

4.3 生成时机

方式	说明
周期性	每 N ms 或每 M 条生成（默认）
每事件	每条数据后更新（精确但开销大）
空闲处理	无数据流时推进水位线（withIdleness）

// 空闲流推进水位线，防止长窗口因无数据卡住
WatermarkStrategy.noWatermarks()
  .withIdleness(Duration.ofSeconds(60))

---

五、Allowed Lateness 延迟允许

5.1 概念

窗口已触发后，允许迟到数据在指定延迟内再次触发窗口计算。

水位线已越过窗口（触发一次）
迟到数据在 allowedLateness 内到达
→ 再次触发，增量更新结果

5.2 使用

.window(TumblingEventTimeWindows.of(Time.minutes(1)))
.allowedLateness(Time.seconds(30))    // 允许迟到 30 秒

参数	说明
默认	0（窗口触发即关闭）
调大	更多迟到被吸收，结果更新更晚
与水位线关系	水位线容忍 + 延迟允许叠加

---

六、侧输出 SideOutput

6.1 作用

超过延迟窗口的迟到数据输出到侧流，单独处理，避免直接丢弃。

6.2 使用

OutputTag<Order> lateTag = new OutputTag<Order>("late-orders") {};

SingleOutputStreamOperator<...> result = stream
  .keyBy(...)
  .window(...)
  .allowedLateness(Time.seconds(30))
  .sideOutputLateData(lateTag)          // 太晚的数据入侧流
  .process(...);

DataStream<Order> late = result.getSideOutput(lateTag);
late.addSink(new LateDataSink());       // 单独补偿处理

6.3 处理方式

方式	说明
侧输出	单独处理（补发、修复）
丢弃	默认行为
重算	触发重新处理

---

七、完整处理链路

1. 数据源指定事件时间戳
2. 设置水位线策略（容忍乱序）
3. 事件时间窗口聚合
4. allowedLateness 吸收延迟
5. 太晚数据进侧输出单独处理

环节	参数/配置
时间戳	assignTimestampsAndWatermarks
乱序容忍	forBoundedOutOfOrderness
窗口延迟	allowedLateness
超晚	sideOutputLateData

---

八、常见问题

问题	原因与处理
窗口不触发	水位线未推进（空闲/无数据）
结果太慢	容忍延迟过大
迟到数据丢失	用 allowedLateness 或侧输出
空闲分区卡住	withIdleness 推进水位线
时间戳缺失	检查业务时间字段与单位

---

常见问题速查

问题	原因与处理
水位线不涨	数据无事件时间或策略未生效
结果反复更新	allowedLateness 过长，权衡
侧输出为空	迟到数据未触发侧输出条件
延迟与准确矛盾	容忍延迟越大结果越准但越慢
时钟不同步	确认事件时间来自业务字段