apache-flink - 什么可能导致 Apache Flink 作业中的屏障对齐持续时间过长？

Question

我在 YARN 上运行我的 Flink 作业，我发现少数子任务遇到了较长的对齐持续时间。

什么可能导致这个问题？

Answer 1

对于 exactly-once 语义，Flink 在接收多个输入流的运算符处对齐流，因此大对齐意味着任务管理器比其他节点晚接收一些障碍。

可以找到关于对齐的文档here ，还有办法monitor checkpointing

更具体地说，原因可能是:

1. 数据偏差。大部分数据已发送到大对齐持续时间节点。
2. 垃圾收集:GC 会极大地影响检查点对齐。
3. 长状态访问，即需要很长时间来放置或从状态中获取。对于RocksDB，检查是否存在index miss或者cache miss问题。
4. Network buffers problem .
5. 用户代码错误。例如，死循环或其他问题。