elasticsearch - Logstash 更改时间格式

Question

我的日志语句如下所示。

2014-04-23 06:40:29 INFO [1605853264] [ModuleName] - [ModuleName] - Blah blah

我能够很好地解析它，并使用以下 ES 字段将其正确记录到 ES

"LogTimestamp": "2014-04-23T13:40:29.000Z"

但我的要求是按如下方式记录此语句，注意 'z' 被 +0000 删除。我试过替换，gsub 但没有改变输出。

"LogTimestamp": "2014-04-23T13:40:29.000+0000"

有人可以帮忙吗？

这是我的模式

TEMP_TIMESTAMP %{YEAR}-%{MONTHNUM}-%{MONTHDAY}\s%{HOUR}:%{MINUTE}:%{SECOND} TEMP_LOG %{TEMP_TIMESTAMP:logdate}\s*?%{LOGLEVEL:TempLogLevel}\s*?\[\s?*%{BASE10NUM:TempThreadId}\]%{GREEDYDATA}

这是过滤器配置:

grok{
   patterns_dir => ["patterns"]
   match=> ["message", "%{TEMP_LOG}"]            
}

date{
   match => [ "logdate", "yyyy-MM-dd HH:mm:ss" ]            
   target => "LogTimestamp"
   timezone => "PST8PDT"            
}

mutate {
    gsub => ["logdate", ".000Z", ".000+0000"]
}

我还不太了解 logstash 中字段的含义以及它们如何映射到 Elasticsearch ，这种混淆让我在这种情况下出错。

Answer 1

你可以使用 ruby​​ 插件做你想做的事!

根据你的要求，你想改变这个

"LogTimestamp": "2014-04-23T13:40:29.000Z"

到

"LogTimestamp": "2014-04-23T13:40:29.000+0000"

尝试使用这个过滤器

filter {
    ruby {
        code => "
                event['LogTimestamp'] = event['LogTimestamp'].localtime('+00:00')
        "
    }
}

希望对您有所帮助。