fluentd record_transformer - 将 $[record] 包装在额外的 json 对象中

Question

我正在改变我使用 GCP 日志的方式，从接收直接推送到我的日志分析工具的 PubSub 订阅到使用 Fluentd 拉取 PubSub 订阅，然后将日志推送到日志分析工具中。问题是，现在我没有在日志数据周围获得一些额外的 json 包装器对象，我需要将它们放回去，否则更改将破坏我们所有的仪表板和预定搜索。

我正在尝试使用 record_transformer添加包装对象，目前尚不清楚如何执行此操作。

给出这样的消息:

{"foo": "bar"}

我需要它出来像:

{
  "message": {
     "data": {
        "foo": "bar"
      }
   }
}

(我不需要它的格式很好，我只是为了可读性在这里做的。)

我试过这个:

<filter gcp.logs>
  @type record_transformer
  <record>
    message data $[record]
  </record>
</filter>

但这并不能实现我所希望的 json 对象的嵌套。

任何指向正确方向的指针将不胜感激。

Answer 1

您可以使用以下配置格式化记录并使用所需的 key 对其进行包装

<filter gcp.logs>
  @type record_transformer
  enable_ruby true
  renew_record true
  <record>
    message ${ {data: record } }
  </record>
</filter>