events - 拉米纳 vs Storm

Question

我正在设计一个原型(prototype)实时监视器，用于处理相当大量(>30G/天)的流式数字数据。我想用 Clojure 来写这个，因为该语言似乎非常适合这种“观察者 + 状态机”系统，这可能最终会成为这样的系统。

我发现的两个主要候选框架是 Lamina 和 Storm。还有 Riemann 和 Pulse，但前者似乎更像是一个完整的解决方案而不是一个框架，我还不想 promise 最终设计； Pulse 的存储库看起来有点缺乏维护？

我想知道的是；这两个项目针对什么类型的数据和工作流程进行了优化？ Storm 似乎更成熟，但 Lamina 似乎更具可组合性和“Clojureic”(我的背景是 Python，所以我倾向于高度评价这一点)。

我从网上阅读中发现的内容:

• Storm 似乎专注于大数据(流)，其核心是带有 Clojure DSL 的直接 Java。它似乎为许多现有数据源预先构建了处理程序。

• Lamina 更像是一个轻量级、可重用的组件，它执行 Clojure 的抽象编码工作，这意味着它可以是 reused as a base for other eventing systems 。数据源需要在代码中处理。

• 两者都有一组开箱即用的有用聚合/分割/计算库函数。 Lamina 的 graphviz 集成非常好。

Answer 1

Storm 可能不是一个糟糕的选择，但“每天超过 30GB”的数值数据并不是大数据，而是小数据。任何半现代计算机都可以在一个带有层的节点上轻松处理这么多数据。无论如何，您可能想要使用 Storm，这样一旦您确实进入需要更多服务器的领域，您就可以轻松扩展，但我想在设置 Storm 时会遇到一些初始摩擦(以及维护集群方面的一些持续摩擦) ，如果您不需要扩大规模，这将被浪费。