elasticsearch - 忽略旧文件，并使用logstash仅推送来自S3的最新日志文件

Question

如何使用logstash忽略旧文件并仅从S3推送最新的日志文件。我们正在使用logstash将s3的cloudtaril日志推送到elasticsearch。 Cloudtrail日志采用以下格式
/AWSLogs/CloudTrail/xxxAccount Numberxxxx/aws-region/year(YYYY)/Month(MM)/day(DD)/
我只需要提取最新的数据(例如本月的数据)，因为整个存储桶中都有巨大的terrabytes数据，logstash无法缩放那么多数据。有没有办法做到这一点？

Answer 1

我只是遇到了同样的问题，并像下面这样解决了它(请阅读:解决该问题):
使用常规配置启动logstash将导致您描述的行为。
它会在启动时在日志中告知您的sincedb文件所在的位置。 (默认为logstash-7.8.0 / data / plugins / inputs / s3 / sincedb_someid)。
该文件需要一段时间才能创建。创建文件后，再次停止logstash。
现在，我猜您可以删除刚刚导入的数据，但我不在乎。
现在编辑文件。这只是一个UTC时间戳。调整到现在为止。
再次启动logstash，它将开始处理在您刚刚输入的时间戳之后创建的文件。