Logstash 文件输入插件

Question

目前，我正在使用文件输入插件来查看我的日志存档，但文件输入插件对我来说不是正确的解决方案，因为文件输入插件本质上期望该文件是事件流而不是静态文件。现在，这给我带来了很大的问题，因为我的日志存档有 100,000 多个日志文件，而我的 Logstash 打开了所有这些文件的句柄，这些文件永远不会改变。

我面临以下问题

1) Logstash 因 SO 中提到的问题而失败
2) 由于有这么多打开的文件句柄，日志归档存储变得非常慢。

有谁知道一种方法让logstash知道静态处理文件或者处理文件后不保留文件句柄。

在logstash Jira bug ，我被告知要编写自己的插件以及一些其他建议，但这对我没有多大帮助。

Answer 1

Logstash文件输入可以处理静态文件。您需要添加此配置

file {
     path => "/your/logs/path"
     start_position => "beginning"
}

添加start_position后，logstash从头开始读取文件。请引用here了解更多信息。请记住

this option only modifies “first contact” situations where a file is new and not seen before. If a file has already been seen before, this option has no effect.

否则，您已将 sincedb_path 设置为 /dev/null 。

第一个问题，我在评论里已经有答案了。请尝试添加打开的最大文件数。对于我的建议，您可以尝试编写一个脚本将日志文件复制到logstash监视器路径并不断将其移出。您必须估计logstash 处理日志文件的时间。