gpt4 book ai didi

elasticsearch - 在 Elasticsearch 中只处理新数据(上次运行后的索引)的方法?

转载 作者:行者123 更新时间:2023-11-29 02:46:03 24 4
gpt4 key购买 nike

有没有办法获取写入 Elasticsearch 文档的日期和时间?

我正在通过 spark 运行 es 查询,并且希望NOT 查看我已经处理过的所有文档。相反,我想阅读从上次程序运行到现在所摄取的唯一文档。

执行此操作的最佳最有效方法是什么?

我看过;

  • 更新 以添加一个带有 bool 值数组的字段,以确定它是否被哪个分析所查看。否定正在等待更新发生。
  • index per time frame 方法,这将按小时将当前索引分解为较小的索引。我看到的负值是打开的文件描述符的数量。
  • ??

Elasticsearch 5.6 版

最佳答案

我在 elasticsearch discussion board 上发布了问题它出现在使用 ingest pipeline是最好的选择。

关于elasticsearch - 在 Elasticsearch 中只处理新数据(上次运行后的索引)的方法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47759840/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com