apache-storm - Apache Ignite 与 Apache Storm(深入)

Question

Apache Ignite 和 Apache Storm 在许多方面是两种截然不同的技术——特别是因为 Storm 有一个非常具体的用例，而 Ignite 有相当多的工具集。据我了解，Ignite 的核心是它的内存存储。建立在它的基础上的是它的数据位置敏感计算。建立在它之上的是各种很酷的“玩具”。我感兴趣的是 Streaming 功能，它基本上是一个关于不断变化的内存缓存的查询监听器。

如果我将滑动窗口设置为一个元组，Ignite 会提供 - 就像 Storm - 一次一个元组的功能。数据由 Ignite 存储在内存中。 Storm 不会在内存中“存储”数据，但元组当然也存储在内存中。因此，在这两种情况下，我都有流式传输，并且在内存中有数据，并且我能够分发我的计算。

由于两种技术的抽象，我觉得在 Storm 中编写执行许多数据转换步骤的程序可能更容易。对此有什么要说的？

第二个问题:性能怎么样？我猜 Ignite 的数据局部性可能会给它带来优势。另一方面，我认为多个步骤可能会更好地分布在 Storm(各种机器上的不同 bolt )中，而 Ignite 程序可能不会那么容易拆分。

如果我仍然想分发流(不仅仅是每个数据，还有不同机器上的步骤)。我想我必须编写多个 Ignite 流媒体，它们通过缓存进行通信，对吗？这听起来比 Storm 更难写(让我们回到第一个问题)。

Answer 1

I get a sense that writing programs that do many steps of data transformations might be easier to write in storm, due to the abstractions of both technologies. What is to say about that?

你可能是对的。尽管 Ignite 也通过将新生成的元组流式传输到另一个缓存中来为它提​​供不错的支持，但似乎在 Storm 中多次转换会更容易。

What about the performance? I'd guess the Ignite's data locality might give it an advantage. On the other hand I think multiple steps might be better distributed in Storm (different bolts on all kinds of machines), while an Ignite program might not be split so easily.

从我在社区中听到的消息来看，Ignite 应该比 Storm 快一个数量级。

If I still wanted to distribute the stream (not just per data, but also the steps on different machines). I guess I would have to write multiple Ignite streamers, which communicate through Caches, right?

你是对的。在 Ignite 中拥有多个缓存并不是一件坏事，实际上是推荐的。大多数用户最终拥有一打或两个。

This would sound more difficult to write than in Storm (bringing us back to the first question).

听起来您需要决定性能对您的重要性。