date - 奇怪的Logstash日期解析错误

Question

我从 Logstash 收到以下错误:

{:timestamp=>"2013-12-30T17:05:01.968000-0800", :message=>"Failed parsing date from field", :field=>"message", :value=>"2013-12-30 17:04:59,539.539 INFO 14282:140418951137024 [foo.lib.base.onResults:152] -- /1.12/media - \"getMediaStoreUrl\": , 10.101.AA.BB, 10.101.19.254 took 0.170675992966, returning https://foo.s3.amazonaws.com/foo/customerMedia/1009238911/23883995/image?Signature=%2BfXqEdNWtWdhwzi%&*YEGJSDDdDFF%3D&Expires=1388455499&AWSAccessKeyId=NOIMNOTTHATSTUPID>, , >>>", :exception=>java.lang.IllegalArgumentException: Invalid format: "2013-12-30 17:04:59,539.539 INFO 14282:140418951137024..." is malformed at ".539 INFO 14282:140418951137024...", :level=>:warn}

错误显然与日期格式有关，我认为它是:

2013-12-30 17:04:59,539.539 INFO 14282:140418951137024...

我的模式如下:

    date {
        match => ["message", "yyyy-MM-dd HH:mm:ss,SSS"]
    }

我阅读了 Joda-Time Library我想我上面的格式是正确的。我很奇怪错误消息包含双倍的 SSS(毫秒)部分:“,539.539”(出于某种原因，我们的日志以这种方式输出)。我故意没有将第二部分“.539”放在我的模式中，因为我希望它被忽略。

我还在另一个过滤器中成功使用了以下模式:

(?<pylonsdate>%{DATESTAMP}\.[0-9]+)

我只是不确定这个错误是从哪里来的。任何想法我需要做什么来纠正这个？我需要改变@timestamp 吗？任何帮助表示赞赏!

Answer 1

该错误是因为“消息”字段中的其他信息会导致日期 api 解析错误。
例如:INFO 14282:140418951137024...

您可以使用 grok api 获取日期，然后使用 date api/

grok { 
     match => ["message","%{DATESTAMP:logtime}\.[0-9]+"]
}
date {
     match => ["logtime","YY-MM-dd HH:mm:ss,SSS"]
}

我已经用你的日志尝试过这个配置。它对我有效。希望这可以帮到你 。