hadoop - 用于索引多个数据库的 Elasticsearch

Question

我是 Elasticsearch 的新手，我试图查看是否已经存在这个问题的答案，但找不到。我的问题是，我有多个数据存储(Hadoop、cassandra、Oracle 以及 future 可能更多)中的数据。我想使用 Elasticsearch 为所有这些数据存储建立索引并创建一个“主索引”。这可能吗？索引处理也会将我的所有数据“移动”到 EC 中吗？

Answer 1

对于 hadoop 数据，您可以使用 ES-Hadoop-Connector。在将数据转储到 Elastic Search 之前使用映射创建索引，然后使用相同的索引来保存数据。

    Configuration conf = new Configuration();
    conf.set("es.nodes", "localhost:9200");
    conf.set("es.resource.write", "Index_Name/Document_Type");

类似地，对于所有剩余的源，使用与接收器相同的索引。为每个来源更改具有相同索引名称的相应 Document_Type。这样它将成为您整个数据的主索引。