hadoop - Apache Storm 与 Hadoop 的比较

Question

Storm 与 Hadoop 相比如何？ Hadoop似乎是开源大规模批处理的事实标准，Storm比hadoop有什么优势吗？或者他们完全不同？

Answer 1

你为什么不说出你的看法。

• http://www.infoq.com/news/2011/09/twitter-storm-real-time-hadoop/
• http://engineering.twitter.com/2011/08/storm-is-coming-more-details-and-plans.html

Twitter Storm 被誉为实时 Hadoop。这更像是一种为了方便消费而采取的营销方式。

它们表面上相似，因为它们都是分布式应用程序解决方案。除了典型的分布式架构元素(如主/从、基于动物园管理员的协调)之外，对我来说，比较掉落悬崖。

Twitter 更像是一个处理数据的管道。管道是连接接收数据、计算和传递输出的各种计算节点的东西。 (行话是喷口和 bolt )将这个类比扩展到复杂的管道布线，可以在需要时重新设计，你就得到了 Twitter Storm。

简而言之，它处理数据。没有延迟。

Hadoop 在这方面的不同之处主要在于 HDFS。它是一种适用于分布式存储和容忍多种规模(磁盘、机器、机架等)中断的解决方案

M/R 旨在利用 HDFS 上的数据本地化来分发计算作业。它们一起不提供实时数据处理的便利。但是，当您查看大数据时，这并不总是必需的。 (大海捞针的比喻)

简而言之，Twitter Storm 是一种分布式实时数据处理解决方案。我认为我们不应该比较它们。 Twitter 构建它是因为它需要一种工具来实时处理数量庞大的小推文。

参见:HStreaming如果你不得不将它与某些东西进行比较