elasticsearch - 将文件添加到elasticsearch(如果不存在)

Question

我使用logstash将每天生成的日志中的一些数据传输到elasticsearch，logstash输出部分如下所示:



我在我的日志文件和elasticsearch中都保留了相同的ID(id_ot)，但是我想做的是:如果Elasticseach中已经存在新的ID(id_ot)，那么我将不插入它。我该如何在logstash中做到这一点？

任何帮助将是真正的应用!

Answer 1

您只需要添加 action => create parameter，并且如果已经存在具有该ID的文档，则不会对其建立索引

output {
  elasticsearch {
    ...
    action => "create"
  }
}