java - 使用 Flink 将数据集传输到 Kafka？是否可以

Question

我有一个用例，需要将记录从 hive 移动到 kafka。我找不到直接将 kafka 接收器添加到 flink 数据集的方法。因此，我使用了一种解决方法，在 flink 数据集上调用映射转换，并在映射函数内对给定记录使用 kafkaProducer.send() 命令。

我面临的问题是我没有任何方法在每个工作节点上执行kafkaProducer.flush()，因此kafka中写入的记录数总是略小于数据集中的记录数。

有没有一种优雅的方式来处理这个问题？有什么办法可以将 kafka 接收器添加到 flink 中的数据集吗？或者调用 kafkaProducer.flush() 作为终结器的方法？

Answer 1

您可以简单地创建一个 Sink，它将在底层使用 KafkaProducer 并将数据写入 Kafka。