elasticsearch - 在 Elasticsearch 中只处理新数据(上次运行后的索引)的方法？

Question

有没有办法获取写入 Elasticsearch 文档的日期和时间？

我正在通过 spark 运行 es 查询，并且希望NOT 查看我已经处理过的所有文档。相反，我想阅读从上次程序运行到现在所摄取的唯一文档。

执行此操作的最佳最有效方法是什么？

我看过;

• 更新 以添加一个带有 bool 值数组的字段，以确定它是否被哪个分析所查看。否定正在等待更新发生。
• index per time frame 方法，这将按小时将当前索引分解为较小的索引。我看到的负值是打开的文件描述符的数量。
• ??

Elasticsearch 5.6 版

Answer 1

我在 elasticsearch discussion board 上发布了问题它出现在使用 ingest pipeline是最好的选择。