elasticsearch - 在提取管道中使用搜索模板

Question

ElasticSearch接收管道可以使用搜索模板作为其脚本吗？

具体来说，我想配置一个接收管道，以便每当输入特定类型的数据时，我们就向ElasticSearch查询一些相关数据，并在加载之前根据结果在原始数据上填充一个或多个字段。在。

我看到摄取管道可以使用脚本(https://www.elastic.co/guide/en/elasticsearch/reference/master/script-processor.html)，并且脚本可以包含搜索模板(https://www.elastic.co/guide/en/elasticsearch/reference/master/modules-scripting-using.html)，但是我还无法找到有关可能将两者结合的任何信息。

Answer 1

实际上，您要求的功能是通过新的enrich processor引入7.5的，它提供了索引时间JOIN功能。

主要思想是设置一个enrich policy，该数据将从您的相关索引中获取数据到一个新的“丰富索引”中，然后您可以使用enrich processor在摄取管道中利用该“丰富索引”，以使您的文档包含相关字段。

因此，这里不做过多介绍，而是实际工作方式:

您有一个索引A，其中包含要用于丰富传入文档

的字段( a， b， c， d)

您可以基于该索引A和“join”字段a

定义扩展策略

您定义了具有丰富处理器的摄取管道，该处理器将尝试将传入文档的字段z与丰富索引

的字段 A.a进行匹配

如果找到匹配项，则您的传入文档将从索引b中获得字段c，d和A。请注意，如果需要，它还将获得匹配字段a，您可以使用remove处理器将其删除。

这几乎就是您所期望的。您可以找到完整的示例 here。一开始，它将适用于完全匹配(即 term查询)和地理位置匹配(即 geo_shape查询)，但不久之后它们可能会添加新的匹配类型(例如 range matches)。