gpt4 book ai didi

elasticsearch - Filebeat - 设置多行配置

转载 作者:行者123 更新时间:2023-12-02 23:25:27 28 4
gpt4 key购买 nike

我有一个读取多种不同日志格式的文件节拍。

一种工作得很好的格式是单个衬里,它作为单个事件发送到 Logstash。
现在,我有另一种格式,即多线。我想将其作为单个事件读取并将其发送到 Logstash 进行解析。
这是日志格式示例,包含两个事件。

error: I READ THIS. sent payload: [{"key": "values"}]
custom status response: [{"key1": "values"}]
callback headers: [{"key2": "values"}]
error stack: [ something really bad happened
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)]

error: I AM NOT READING THIS. sent payload: [{"key": "values"}]
custom status response: [{"key1": "values"}]
callback headers: [{"key2": "values"}]
error stack: [ something really bad happened
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)
at here loremisptul (/xx/xx/x)]

这是探矿者配置:
- input_type: log
paths: /Users/xxxxx/Downloads/elk/anotherlog/app.stderr.log
document_type: logsystemtwo
multiline.pattern: '`^=[A-Z]+|^$`'
multiline.negate: true
multiline.match: after
- input_type: log
paths: /Users/xxxxx/Downloads/elk/mylogs/access.log*
document_type: logsystemone

问题在于第一条多线。它读取第一个事件(我读了这个),但忽略了它的其余部分(我没有读这个)。

我尝试了许多不同的 configurations ,但我无法让它读取其他事件。
它总是只发送第一个事件,而忽略其余的。

我知道我也可以在 Logstash 中执行多行,但根据 documentation应该避免这种情况。同样在我的情况下,我会避免在 Logstash 中这样做,因为我在那里已经有非常复杂的结构

最佳答案

我发现了一种适用于我的模式:

- input_type: log
paths: /Users/xxxxx/Downloads/elk/logs/app.stderr.log
document_type: error
multiline.pattern: '^error: '
multiline.negate: true
multiline.match: after

想提一下有一个 playground对于 Filebeat,它可以帮助对模式进行原型(prototype)设计。

关于elasticsearch - Filebeat - 设置多行配置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43932012/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com