java - Kafka Spout 在 Storm Topology 上读取了两次消息

Question

我正在尝试使用 Kafka 到 Storm 来模拟流流量。我使用 KafkaSpout 从一个主题中读取一条消息，该消息由生产者发送，该生产者读取这些推文并将其发送到某个主题。我的问题是，在拓扑消耗完该主题中发送的所有推文后，它继续读取该主题中的消息两次。如何阻止KafkaSpout读取两次？(复制因子设置为1)

Answer 1

这个配置对我来说看起来不错。

也许问题是双重确认。确保在 execute 中只确认每个元组一次。

正如评论中提到的，请考虑升级到较新的 Kafka 版本，以及切换到 storm-kafka-client。

还有一些可能会让您的生活变得更轻松的事情:考虑扩展 BaseBasicBolt 而不是 BaseRichBolt。如果运行 execute 不会引发错误，BaseBasicBolt 会自动为您确认元组。如果你想让一个元组失败，你可以抛出FailedException。 BaseRichBolt 仅当您想要进行更复杂的确认时才应使用，例如在确认之前从内存中的许多 execute 调用中聚合元组。