java - Apache Storm spout 可以相互通信吗？

Question

我有一个目录，另一个进程将文件放入其中。

我们当前的 Storm 实现读取此目录并选择最旧的文件并打开文件读取器。该读取器作为 spout 中的一个字段保存，因此当调用 nextTuple() 时，将从文件中输出一行。 spout 完成读取后，它会关闭读取器并打开一个新读取器来读取新文件。

为了提高吞吐量，一个想法是让多个 spouts 一次读取多个文件，因为这些 spouts 将争夺同一目录中的相同文件，有没有办法在 spouts 之间进行通信，以便它们可以协商哪些文件阅读？ (或者有一个总经理将文件分配给喷口)。

目录和文件从HDFS存储和读取。

Answer 1

我认为开箱即用是没有办法让两个 spout 一起通信的。但是，您应该尝试 https://github.com/ptgoetz/storm-signals

有一个 BaseSignalSpout 依赖于 zookeeper 在 storm 组件之间发送消息。

希望对您有所帮助!