gpt4 book ai didi

elasticsearch - 忽略旧文件,并使用logstash仅推送来自S3的最新日志文件

转载 作者:行者123 更新时间:2023-12-03 01:25:59 25 4
gpt4 key购买 nike

如何使用logstash忽略旧文件并仅从S3推送最新的日志文件。我们正在使用logstash将s3的cloudtaril日志推送到elasticsearch。 Cloudtrail日志采用以下格式
/AWSLogs/CloudTrail/xxxAccount Numberxxxx/aws-region/year(YYYY)/Month(MM)/day(DD)/
我只需要提取最新的数据(例如本月的数据),因为整个存储桶中都有巨大的terrabytes数据,logstash无法缩放那么多数据。有没有办法做到这一点?

最佳答案

我只是遇到了同样的问题,并像下面这样解决了它(请阅读:解决该问题):
使用常规配置启动logstash将导致您描述的行为。
它会在启动时在日志中告知您的sincedb文件所在的位置。 (默认为logstash-7.8.0 / data / plugins / inputs / s3 / sincedb_someid)。
该文件需要一段时间才能创建。创建文件后,再次停止logstash。
现在,我猜您可以删除刚刚导入的数据,但我不在乎。
现在编辑文件。这只是一个UTC时间戳。调整到现在为止。
再次启动logstash,它将开始处理在您刚刚输入的时间戳之后创建的文件。

关于elasticsearch - 忽略旧文件,并使用logstash仅推送来自S3的最新日志文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58241039/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com