- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我在 k8s 中有一个相当简单的 Apache 部署,使用 fluent-bit v1.5 作为日志转发器。我的设置与下面的 repo 中的设置几乎相同。我正在运行 AWS EKS 并将日志输出到 AWS ElasticSearch Service。
https://github.com/fluent/fluent-bit-kubernetes-logging
ConfigMap 在这里:https://github.com/fluent/fluent-bit-kubernetes-logging/blob/master/output/elasticsearch/fluent-bit-configmap.yaml
Apache 访问 (->/dev/stdout) 和错误 (->/dev/stderr) 日志行都位于节点上的同一个容器日志文件中。
我遇到的问题是 fluent-bit 似乎没有自动检测要使用的解析器,我不确定它是否应该使用,而且我们只能在部署的注释部分指定一个解析器,我已经指定了 apache .
因此,最终,不会解析写入同一文件但来自 stderr 的错误日志行。
我应该将日志从 fluent-bit 发送到 fluentd 以处理错误文件,假设 fluentd 可以处理这个,还是应该以某种方式只将错误行泵回 fluent-bit 以进行解析?
我错过了什么吗?
谢谢!
最佳答案
通过使用带有“解析器”插件(名称)的 FluentBit FILTER,我能够将第二个(和第三个)解析器应用于日志,如下所示。
记录于此:https://docs.fluentbit.io/manual/pipeline/filters/parser
[FILTER]
Name parser
Match kube.*
Parser apache_error_custom
Parser apache_error
Preserve_Key On
Reserve_Data On
Key_Name log
关于fluentd - fluent-bit 可以解析一个文件中的多种类型的日志行吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64269725/
我正在寻找一种将 source_hostname 发送到 fluentd 目标服务器的方法。 我在 logstash 上,但我们有代理/服务器端,我们有变量来获取 logstash 服务器配置文件中的
我有一个包含 json 记录的文件,并且想在将它们发送到 fluentd 输出之前从 json 记录中删除一些键。我可以使用“record_transformer Filter Plugin”来删除键
我需要将我的应用程序日志发送到作为 EFK 服务一部分的 FluentD。所以我尝试配置另一个 FluentD 来执行此操作。 my-fluent.conf: @type kafka_group
环境:-适用于 Windows 的 Fluentd-td-agent 发行版。Elasticsearch-v6.1.2应用插件-Nodejs Fluent-logger 我正在尝试使用 Fluentd
用例:设置要发送到目标服务的最大消息数(在一个时间范围内)。 例子。我们从具有以下类型日志的服务 X 收集日志: {"@timestamp":"2020-10-30T13:00:00.310Z","l
我写 @type tail format nginx path /home/work/opt/nginx/var/log/access.log tag nginx.access 在
Guyz……我们被困住了……救救我们! :-) 我们有一个使用 Fluentd 的 3 步日志聚合管道。 [#1 - 尾部日志(原始日志)] --(TCP)--> [#2 - 将读取的日志解析为 JS
我有来源: @type tail tag service path /tmp/l.log format json read_from_head true 我
我想排除 serive_name 为空的行 "service_name":"" . 这是我流利的 conf ## match tag=debug.** and dump to console
我设置了在 Docker 引擎上运行的 Fluentd 和 Elasticsearch。我有大量服务想要登录到 Fluentd。 我想要做的是为我运行的每个服务创建一个标签,并使用该标签作为 Elas
我正在使用的当前设置是具有多个容器的 Docker 组合堆栈。这些容器将它们的日志信息发送到运行 Fluentd 守护进程的日志容器(在 compose 堆栈内)。 Fluentd 的配置包含一个 i
这是我的 FluentD 解析器配置:
用例是这样的:我有几个运行的 java 应用程序都必须与不同的(每个都有特定的目标)elasticsearch 索引交互。例如应用程序 A 使用 ElasticSearch 的索引 A、B、C 进行查
我正在尝试使用 cat_sweep 插件在 fluentd 中处理扩展名为 .gz 的日志文件,但我的尝试失败了。如下面的配置所示,我正在尝试处理 /opt/logfiles/* 位置下的所有文件。但
我的系统时间是:Tue Jan 6 09:44:49 CST 2015 td-agent.conf : type webhdfs host Page on test.com port 5
我刚刚开始使用 fluentd,但我希望能够设置单个输出匹配规则,如下所示: type file path logs/ time_slice_format %Y%m%dT%H
我正在从在 Docker Swarm 集群上运行我的容器迁移到在 Google Container Engine 上运行的 Kubernetes。在 Docker Swarm 上运行时,我配置了 Do
我正在尝试使用 Bindplane 将 Java 开发人员创建的“系统日志”上传到 Google 的 Stackdriver。 Bindplane 是基于 fluentd 构建的。 我使用的是源类型的
我在 k8s 中有一个相当简单的 Apache 部署,使用 fluent-bit v1.5 作为日志转发器。我的设置与下面的 repo 中的设置几乎相同。我正在运行 AWS EKS 并将日志输出到 A
编辑:我已根据efrat-levitan's的建议在评论中添加了新信息。当我按照原始注释的建议将Elasticsearch版本升级到7.6.0时,列出的日志输出略有不同。为了帮助调试,我也没有立即启动
我是一名优秀的程序员,十分优秀!