apache-kafka - FlinkKafkaConsumer在HiBench中的容错

Question

我正在运行一些实验来测试 Apache Flink 的容错能力。我目前正在使用 HiBench 框架和为 Flink 实现的 WordCount 微型基准测试。

我注意到，如果我在执行过程中杀死了一个 TaskManager，Flink 操作符的状态会在自动“重新部署”后恢复，但是从基准测试发送到 Kafka 的许多(全部？)元组会丢失(存储在 Kafka 中但不存储在 Kafka 中)在 Flink 中接收)。

似乎在恢复之后，FlinkKafkaConsumer(基准测试使用 FlinkKafkaConsumer08)代替了从失败前读取的最后一个偏移量开始读取，从最新的可用偏移量开始读取(丢失所有事件)在失败期间发送)。

有什么建议吗？

谢谢!

Answer 1

问题出在 HiBench 框架本身和最新版本的 Flink 上。

为了在 Kafka 消费者中使用“setStartFromGroupOffsets()”方法，我必须更新基准测试中的 Flink 版本。