hadoop - Hadoop 上的 Elasticsearch - ES 节点是否应该与 Hadoop 数据节点共置？

Question

来自 Elasticsearch for Hadoop documentation :

Whenever possible, elasticsearch-hadoop shares the Elasticsearch cluster information with Hadoop to facilitate data co-location. In practice, this means whenever data is read from Elasticsearch, the source nodes IPs are passed on to Hadoop to optimize task execution. If co-location is desired/possible, hosting the Elasticsearch and Hadoop clusters within the same rack will provide significant network savings.

这是否意味着理想情况下 Elasticsearch 节点应该与 Hadoop 集群上的每个 DataNode 共存，还是我误读了这个？

Answer 1

您可能会发现 Elasticsearch 和 Hortonworks 的联合演示文稿有助于回答这个问题:

http://www.slideshare.net/hortonworks/hortonworks-elastic-searchfinal

您会注意到，在幻灯片 33 和 34 中，它们显示了多种架构 - 一种是 ES 节点位于 Hadoop 节点上，另一种是您拥有单独的集群。第一个选项显然为您提供了最佳的数据协同定位，这对于管理 Hadoop 性能非常重要。第二种方法允许您分别调整每个并独立缩放它们。

我不知道您是否可以说一种方法优于另一种方法，因为显然需要权衡取舍。在同一节点上运行显然以失去隔离性和单独调整每个集群的能力为代价最大限度地减少了数据访问延迟。