hadoop - 是否可以将Elasticsearch查询转换为可以在hadoop上应用相同过滤逻辑的内容？

Question

我们有一个架构，它同时使用elasticsearch和hadoop来解决近实时和批处理问题。我们将数据提取并写入两个系统，因此在将行存储到HDFS中存在一些滞后的情况下，同步已得到解决。

调用UI内容将使用查询DSL查询elasticsearch。这些查询使用了Elasticsearch套件的许多细节，例如自定义分析器，匹配短语以及其他在 hive 或mapreduce中没有等效功能的查询。

我们的批处理流程之一是，我们要移至HDFS，以完全导出与elasticsearch查询匹配的所有行，以生成与发送给elasticsearch的查询相同的结果数据，但避免调用elasticsearch(在es-hadoop中完成)以避免对我们的Elasticsearch集群造成性能下降。

是否有将复杂的Elasticsearch查询转换为可以在hadoop中应用相同过滤逻辑的通用工具或过程？我们不需要考虑聚合或类似的事情，只需查询过滤即可。

Answer 1

我们正在处理类似的情况，我们必须在客户端对接收到的数据以及后端在Elasticsearch进行过滤。我们想出了自己的方法，将过滤器定义为表达式。

例如:if((name == Jane && age> 18)||(name == John && age <18))，将表示为OR(AND(EQ(name:Jane)，GT(age:18) ))/ AND)，(AND(EQ(name:John)，LT(age:18)))/ AND)/ OR)。

然后，我们通过解析表达式使用它来获取ES查询或所需的任何其他查询格式。