apache-flink - Flink 是否能保证所有情况下任务的容错性？

Question

我正在寻找一个容错的流处理引擎。出于这个原因，我使用一个简单的作业来测试 Flink:SocketTextStreamWordCount 示例，该示例从文本套接字读取单词!我在一个带有 3 个任务管理器的独立集群上运行它，我找到了负责从套接字读取的任务管理器!我杀死了 TaskManger (kill -9) 并等待看到结果:大约 30 秒后，JobManger 删除了死掉的 TaskManger!并将作业分配为失败!

看来容错保证不是一般的事情，要看Job!我对吗？有没有相关资料可以解释一下？

Answer 1

Flink 中的容错不仅仅取决于当一个任务管理器失败时在另一个任务管理器上重新启动任务。您还需要启用检查点，并且为了实现端到端的恰好一次保证，您需要具有支持重放的源和幂等或事务性的接收器。

但是，在您的情况下，第一个开始的地方可能是配置重新启动策略 - 请参阅 documentation here .

Flink 文档的其他几个部分与此主题相关。一个好的起点是 Streaming Fault Tolerance 部分。 。同样相关的还有 Checkpointing 上的部分。 , State Backends , Fault Tolerance Guarantees ，和 High Availability .

有一个blog post on the data Artisans website它通过检查点很好地展示了故障恢复。随附youtube video和 github repo也可用。