记录到 Amazon S3

Question

有没有人构建或知道如何构建将日志文件存放在 Amazon S3 上的日志记录框架？

我们正在构建一个 SaaS 应用程序，自然而然，我们计划拥有数以万计的服务器和客户。我想简化整个日志记录结构。目前我们使用 SLF4j 进行日志记录，而 Logback 作为实际的日志记录实现。

我想我们可以加入另一个实现，将日志消息累积在内存中，压缩它们，然后将它们上传到 S3。如果 S3 连接中断或变慢，则实现会将文件在磁盘上排队。有点像 Facebook 的 Scribe。

我的猜测是我需要四五天时间来编写和测试这个。如果还有其他实现，我很想知道。

Answer 1

有一个 fluentd 插件可以将文件存储到 s3。
(Fluentd 是一个不错的“日志文件收集器”)
在此处阅读更多相关信息:
https://docs.fluentd.org/output/s3
如果 s3 连接断开或变慢，它将缓冲输出
为你。