redis - 多个 Logstash 实例导致行重复

Question

我们使用具有以下配置的 Logstash 接收日志:

input {
  udp {
    type => "logs"
    port => 12203
  }
}

filter {
  grok {
    type => "tracker"
     pattern => '%{GREEDYDATA:message}'
  }
  date {
    type => "tracker"
    match => [ "timestamp", "yyyy-MM-dd HH:mm:ss,SSS" ]
  }
}

output{
    tcp{
         type => "logs"
         host => "host"
         port => 12203
    }
}

然后，我们使用以下设置在机器 “主机” 上获取日志:

input {
      tcp {
                      type => "logs"
                      port => 12203
                        }
}


output {
    pipe {
        command => "python /usr/lib/piperedis.py"
    }
}

从这里开始，我们将对行进行解析并将它们放入 Redis 数据库中。然而，我们发现了一个有趣的问题。

Logstash 在 JSON 样式包中“包装”日志消息，即:

{\"@source\":\"source/\",\"@tags\":[],\"@fields\":{\"timestamp\":[\"2013-09-16 15:50:47,440\"],\"thread\":[\"ajp-8009-7\"],\"level\":[\"INFO\"],\"classname\":[\"classname\"],\"message\":[\"message"\]}}

然后，我们在接收到它并将其传递到下一台机器时，将其作为消息并将其放入另一个包装器中!我们只对实际日志消息感兴趣，对其他内容(源路径、源、标签、字段、时间戳等)不感兴趣

我们可以使用过滤器或其他方法来做到这一点吗？我们查看了文档，但找不到任何方法在 Logstash 实例之间传递原始日志行。

谢谢，

马特

Answer 1

logstash 文档是错误的 - 它表明默认的“编解码器”是 plain但实际上它不使用编解码器 - 它使用输出 format .

要获得更简单的输出，请将输出更改为类似

output {
    pipe {
        command => "python /usr/lib/piperedis.py"
        message_format =>  "%{message}"
    }
}