hadoop - Elasticsearch 和 Hadoop？

Question

我刚刚开始深入研究 Elasticsearch 和 Hadoop。我对这两个概念有点迷茫。我发现 Elasticsearch “总是”(可能由于我有限的知识而有所偏差)与 Hadoop 生态系统(HDFS、Spark、HBase、Hive 等)进行交流。起初，我认为 Elasticsearch 是 Hadoop 生态系统的一部分，但看起来我错了。

如果我有一个实现搜索引擎的任务，似乎只用 Elasticsearch 来索引和存储数据就足够了。那么是否有任何理由在此任务中利用 Hadoop？如果我们同时使用 HDFS 和 Elasticsearch 来存储数据，这是否意味着我们将物理上以两种格式重复存储数据(一种用于 HDFS，一种用于 Elasticsearch)？

Answer 1

Elasticsearch 是一个分布式全文搜索引擎。它独立工作。如果您想将它用作搜索引擎，您可以单独使用它。 Elasticsearch 和 hadoop 之间没有直接关系。但是你可以一起使用它们。如果您已经在使用 hadoop 并希望为您的数据添加搜索功能，您可以在 elasticsearch 上为您的数据建立索引，并可以从 hadoop 中查询它。有一个用于该目的的产品:ES-Hadoop