python - 为什么我们在 Python 中使用 logstash_formatter 包？

Question

我正在使用 logstash_formatter python 模块将格式化的日志发送到 logstash。 logstash_formatter 正在将我传递的字典转换为 JSON 字符串。然后，我的应用程序将此 JSON 消息写入 audit_log 文件。 logstash 代理 正在读取此日志文件并将 JSON 数据发送到 RabbitMQ。

在安装来自 https://pypi.python.org/pypi/logstash_formatter 的 logstash_formatter 包之前我预计，由于此格式化程序将 JSON 消息传递给 RabbitMQ 索引器，因此我不必为我的机器上运行的 logstash 代理向我的 shipper.conf 文件添加过滤器。所有 JSON 字段都将作为标签或字段自动添加到 logstash，并在 Kibana 中显示为与过滤器相同。

但没有发生类似的事情，我仍然必须将过滤器添加到我的 shipper.conf 文件中。实际上，日志消息作为消息字段/标记出现在 logstash 回复中。

现在觉得没必要用这个包了。相反，我会自己创建一个字典，然后使用 json 模块将其转换为 JSON。

如果我遗漏了什么或者我对这个格式化程序的理解完全错误，请指导我。

Answer 1

你是对的——你可以编写自己的脚本来获取记录并将它们转储为 JSON。

然而，这就是模块的意义所在——它使您不必自己编写和维护它。

logstash_formatter package将所有内容强制转换为字符串，进行一些日期处理，并在源主机为空的情况下捕获错误。该模块强制转换您的日志文件，而 logstash 代理负责传送它。您可以告诉您的托运人过滤掉一些标签或只发送一些事件。

通过从包索引下载它来查看模块本身——在撰写本文时，它有 154 行并且注释很好。