apache-flink - 由于流对齐，检查点端到端持续时间增加

Question

我有一个 flink 作业，它读取用户事件，使用 session 窗口并写回 kafka。

我使用的状态后端是 s3(没有 hdfs 集群，只使用 libs)。

问题是端到端检查点时间不断增加，直到检查点被删除，大部分时间都花在“对齐”上。

问题是 - 为什么？，如何在不将检查点模式设置为 AT_LEAST_ONCE 的情况下解决此问题？

Answer 1

在进一步调查问题后，这是由于高 GC 时间(在检查点期间经常发生)。
我们使用的是 FS 状态后端，虽然它的名称中有 FS，但它仅指检查点的输出位置，而整个状态仍存储在内存中(与 RocksDB 状态后端相反)。

尽管如此，我们仍在使用 FS 状态后端，因为 Rocks-db 的高(呃)延迟，我们在这个应用程序中不允许这样做。