elasticsearch - 如何从Elasticsearch中排除 “fingerprint”字段

Question

我正在Logstash中使用fingerprint过滤器来创建一个指纹字段，该字段在document_id输出中设置为elasticsearch。

配置如下:

filter {
  fingerprint {
    method => "SHA1"
    key => "KEY"
  }
}

output {
  elasticsearch {
    host => localhost
    document_id => "%{fingerprint}"
  }
}

这会导致Elasticsearch中的 fingerprint冗余字段与 _id的值相同。如何防止将此冗余字段保存到ES？

Answer 1

如果您使用的是logstash 1.5或更高版本，则可以将字段放在metadata中，然后该字段将不会作为常规消息的一部分发送到elasticsearch。

例:

filter {
  fingerprint {
    ...
    target => "[@metadata][fingerprint]"
  }
}

output {
  elasticsearch {
    ...
    document_id => "%{[@metadata][fingerprint]}"
  }
}