logging - Logstash遍历s3目录树的日志

Question

我们大约有四年的日志存储在 Amazon S3 中，格式为

BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server1.log
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server2.log
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server3.log

等等

我们的目标是使用Logstash使用此数据回填和索引日志，因此我想知道是否有一种方法可以告诉s3输入插件在指定前缀内的文件夹中搜索所有日志，类似于:

"path" => "/path/logs/blah/**/*.log

如果没有办法使用 s3 plugin做到这一点，你们中的任何人都解决了类似的问题吗？
理想的情况是能够使该过程成为后台，并使其尽可能接近实时(这意味着我想避免某些事情，我必须手动将日志复制到外部位置并运行脚本以更新索引)

Answer 1

我有一个类似的问题。
我找到的解决方案如下。

将S3存储桶安装为本地文件系统中的可移动驱动器。

使用file输入插件为目标日志文件建立索引。

使用这种方法，不需要手动复制或运行脚本。索引是在后台执行的。

有几个S3客户端应用程序可帮助将S3存储桶安装为本地驱动器(例如 TntDrive)。但是，它们都是商业软件。到目前为止，我没有找到任何免费的应用程序。

我的操作系统是Windows 7，我使用TntDrive将S3存储桶安装到本地文件系统。