plugins - logstash(2.3.2) gzip 编解码器不工作

Question

我正在使用 logstash(2.3.2) 通过 gzip_lines 编解码器读取 gz 文件。日志文件示例 (sample.log) 是

127.0.0.2 - - [11/Dec/2013:00:01:45 -0800] "GET /xampp/status.php HTTP/1.1" 200 3891 "http://cadenza/xampp/navi.php" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0"

我用来附加到 gz 文件的命令是:

cat sample.log | gzip -c >> s.gz

logstash.conf 是

input { 
  file {
    path => "./logstash-2.3.2/bin/s.gz"
    codec => gzip_lines { charset => "ISO-8859-1"}
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
    #match => { "message" => "message: %{GREEDYDATA}" }
  }
  #date {
  #  match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  #}
}


output {
  stdout { codec => rubydebug }
}

我已经使用 bin/logstash-plugin install logstash-codec-gzip_lines 安装了 gzip_line 插件

使用 ./logstash -f logstash.conf 启动 logstash

当我用猫样本.log | gzip -c >> s.gz

我希望控制台打印数据。但是没有打印出来。

我已经在 mac 和 ubuntu 上试过了，得到了相同的结果。我的代码有什么问题吗？

Answer 1

我检查了 gzip_lines 的代码，在我看来很明显这个插件无法正常工作。至少对于版本 2.3.2。可能已经过时了。因为它没有实现这里指定的方法:

https://www.elastic.co/guide/en/logstash/2.3/_how_to_write_a_logstash_codec_plugin.html

所以目前的内部工作是这样的:

• file 输入插件逐行读取文件并将其发送到编解码器。
• gzip_lines 编解码器尝试使用 GzipReader.new(io) 创建一个新的 GzipReader 对象
• 然后它逐行通过阅读器来创建事件。

因为您指定了一个 gzip 文件，file 输入插件会尝试将 gzip 文件作为常规文件读取并将行发送到编解码器。编解码器尝试使用该字符串创建 GzipReader，但失败了。

您可以将其修改为这样工作:

创建一个包含 gzip 文件列表的文件:

-- list.txt
/path/to/gzip/s.gz 

将其交给文件输入插件:

file {
    path => "/path/to/list/list.txt"
    codec => gzip_lines { charset => "ISO-8859-1"}
}

变化是:

打开 vendor/bundle/jruby/1.9/gems/logstash-codec-gzip_lines-2.0.4/lib/logstash/codecs/gzip_lines.r 文件。添加注册方法:

public
def register
  @converter = LogStash::Util::Charset.new(@charset)
  @converter.logger = @logger
end

并且在方法decode中改变:

@decoder = Zlib::GzipReader.new(data)

作为

@decoder = Zlib::GzipReader.open(data)

这种方法的缺点是它不会尾随您的 gzip 文件，而是尾随列表文件。因此，您需要创建一个新的 gzip 文件并将其附加到列表中。