gpt4 book ai didi

fluentd - fluent-bit 可以解析一个文件中的多种类型的日志行吗?

转载 作者:行者123 更新时间:2023-12-04 08:46:55 26 4
gpt4 key购买 nike

我在 k8s 中有一个相当简单的 Apache 部署,使用 fluent-bit v1.5 作为日志转发器。我的设置与下面的 repo 中的设置几乎相同。我正在运行 AWS EKS 并将日志输出到 AWS ElasticSearch Service。
https://github.com/fluent/fluent-bit-kubernetes-logging
ConfigMap 在这里:https://github.com/fluent/fluent-bit-kubernetes-logging/blob/master/output/elasticsearch/fluent-bit-configmap.yaml
Apache 访问 (->/dev/stdout) 和错误 (->/dev/stderr) 日志行都位于节点上的同一个容器日志文件中。
我遇到的问题是 fluent-bit 似乎没有自动检测要使用的解析器,我不确定它是否应该使用,而且我们只能在部署的注释部分指定一个解析器,我已经指定了 apache .
因此,最终,不会解析写入同一文件但来自 stderr 的错误日志行。
我应该将日志从 fluent-bit 发送到 fluentd 以处理错误文件,假设 fluentd 可以处理这个,还是应该以某种方式只将错误行泵回 fluent-bit 以进行解析?
我错过了什么吗?
谢谢!

最佳答案

通过使用带有“解析器”插件(名称)的 FluentBit FILTER,我能够将第二个(和第三个)解析器应用于日志,如下所示。
记录于此:https://docs.fluentbit.io/manual/pipeline/filters/parser

[FILTER]
Name parser
Match kube.*
Parser apache_error_custom
Parser apache_error
Preserve_Key On
Reserve_Data On
Key_Name log

关于fluentd - fluent-bit 可以解析一个文件中的多种类型的日志行吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64269725/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com