elasticsearch - Logstash 关闭文件描述符？

Question

背景:

我们有 rsyslog 创建日志文件目录，如:/var/log/rsyslog/SERVER-NAME/LOG-DATE/LOG-FILE-NAME因此，多个服务器将不同日期的日志溢出到一个中央位置。

现在读取这些日志并将它们存储在 elasticsearch 中进行分析，我的 logstash 配置文件如下所示:

file{
   path => /var/log/rsyslog/**/*.log
}

问题:

现在，随着目录中日志文件数量的增加，logstash 会为新文件打开文件描述符 (FD)，并且不会为已读取的日志文件释放 FD。由于日志文件是按日期生成的，一旦读取，之后就没有用了，因为它不会在该日期之后更新。

我在 /etc/security/limits.conf 中将文件打开限制增加到 65K

我们能否让 logstash 在一段时间后关闭句柄，以便打开的文件句柄数量不会增加太多？？

Answer 1

我想你可能遇到了这个错误:http://github.com/elastic/logstash/issues/1604 .你有相同的症状吗？一段时间后日志中出现异常？如果你运行 sudo lsof | grep Java | wc -l 您是否看到描述符随时间稳步增加？ (其中一些可能会关闭，但有些会继续开放并且数量会增加)