logstash - 在充分使用之前调试新的Logstash Grok过滤器

Question

我一直在遵循本指南:

http://deviantony.wordpress.com/2014/06/04/logstash-debug-configuration/

我希望这可以帮助我测试logstash过滤器，以在全职使用它们之前查看是否获得了所需的输出。

作为指南的一部分，它告诉您设置输入和输出，然后设置过滤器文件。输入似乎正常工作:

input {
    stdin { }
}

输出是这样的:

output {
    stdout {
        codec => json
    }
    file {
        codec => json
        path => /tmp/debug-filters.json
    }
}

当我尝试运行logstash进程时遇到以下错误(在这里我已使用--configtest运行该错误，因为该错误建议我尝试使用该方法，但它没有提供更多信息):

# /opt/logstash/bin/logstash -f /etc/logstash/debug.d -l /var/log/logstash/logstash-debug.log --configtest

Sending logstash logs to /var/log/logstash/logstash-debug.log.
Error: Expected one of #, ", ', -, [, { at line 21, column 17 (byte 288) after output {
    stdout {
        codec => json
    }
    file {
        codec => json
        path =>

我尝试在输出中删除文件部分，并且可以运行logstash进程，但是当我将日志行粘贴到 shell 中时，我看不到日志条目被分解为组件，我期望使用grok过滤器打破它。当我这样做时，我得到的是:

Oct 30 08:57:01 VERBOSE[1447] logger.c: == Manager 'sendcron' logged off from 127.0.0.1
{"message":"Oct 30 08:57:01 VERBOSE[1447] logger.c: == Manager 'sendcron' logged off from 127.0.0.1","@version":"1","@timestamp":"2014-10-31T16:09:35.205Z","host":"lumberjack.domain.com"}

最初，我在使用新的grok过滤器时遇到问题，因此现在我尝试使用一个我知道可以工作的现有过滤器(如上图所示，它是一个Asterisk 1.2过滤器)，并且已经在一段时间内生成了Elasticsearch条目。

我曾尝试触摸输出中提到的json文件，但这并没有帮助。

现在，当我拖尾logstash-debug.log时，我只会看到也正在写入我的shell的错误。

如果我错过了一些令人眼花，乱的道歉，对调试grok过滤器的任何建议将不胜感激，我只与ELK＆grok合作了几周，而我可能没有以最明智的方式这样做。我希望能够将示例日志条目放到 shell 中，并将JSON格式的logstash条目添加到控制台，以便我可以查看过滤器是否按预期工作，并对其进行标记，因为它们将显示在kibana中，网址为结束。如果有更好的方法可以进行此操作，请告诉我。

我正在使用Logstash 1.4.2

Answer 1

就调试grok过滤器而言，您可以使用此链接(http://grokdebug.herokuapp.com/)，它具有非常全面的模式检测器，这是一个不错的开始。

就您的文件输出而言，您需要在路径周围添加""。这是我在生产中使用的示例。这是关于文件输出http://logstash.net/docs/1.4.2/outputs/file#path的文档

output {
    stdout {
        codec => rubydebug
    }
    file {
        codec => "plain"
        path => "./logs/logs-%{+YYYY-MM-dd}.txt"
    }
}