logging - 是否有一种工具可以轻松地以聚合方式从 AWS Elastic Beanstalk 搜索 S3 中每小时轮换的日志？

Question

AWS Elastic Beanstalk 可以为您自动轮换日志，这真是太好了。问题是，一旦进入 s3，它们就会全部被 GZipped 并且每小时一个文件。为了在一段时间内进行任何类型的分析，需要手动下载所有单独的 .gz 文件，解压它们，然后搜索它们。我正在寻找一种工具，只需指向 S3 文件夹，并对我的日志具有文本搜索功能。

Answer 1

我在尝试聚合和搜索 S3 访问和 Cloudfront 日志文件时遇到了类似的问题。令人惊讶的是，在这个问题发布多年后，我仍然没有找到一个好的解决方案，因此我自己编写了一个使用 S3 通知和 AWS Lambda 的解决方案。如果您不直接从应用程序将事件发布到 papertrail，而只是依赖写入 S3 的日志，则可以调整 https://github.com/qixotic/s3-to-logstore解析您的日志文件格式并推送到 papertrail(或其他传输)。