Logstash:使用静态 csv 文件中的数据丰富日志文件中的事件

Question

总结:在 logstash 中使用一个过滤器，它将从事件字段中读取一个值，在外部文件(例如 csv)中查找该值，并从匹配的外部文件中检索值。使用外部文件中的值作为额外字段添加到事件中。

更多信息:我有一个包含事件的日志文件。事件看起来像:

{"@timestamp":"2014-06-18T11:52:45.370636+02:00","location":{"MainId":3,"SubId":"5"},"EndRequest":{"Duration":{"Main":0,"Page":6720}}}

我有一个静态 csv 文件，例如:

1,left
2,right
3,top

当在 logstash 中处理一个事件时，我希望能够使用一个过滤器来检查 MainId 的值(例如 event = 3)并在 csv 文件中找到这个值。如果找到，则该事件必须有一个标签:“top”。

这有点类似于过滤器“GeoIP”的方式。该事件有一个字段值、“数据库”中的匹配值和可以添加到事件中的返回值。

我找不到可以进行上述处理的当前过滤器。我需要自己制作自定义过滤器吗？如果是这样，有人可以提示如何处理这个问题吗？

Answer 1

有翻译过滤器。

你有一个 YAML 文件而不是 CSV，对于单个键值对，这应该是一个简单的 sed yaml 转换

撰写本文时的最新文档:http://logstash.net/docs/1.4.2/filters/translate