amazon-s3 - 尼菲 : Delete files from S3 when they are X days old

Question

我有 Nifi 流，它应该从 S3 中删除任何超过 7 天的文件。我使用了以下设置来完成它。

我的 UpdateAttribute 处理器有一个 epoch_now 属性，用于获取当前纪元时间。

在我的 RouteOnAttribute 上，我使用以下逻辑来使用以下表达式过滤掉小于 7 天的文件:${epoch_now:minus(${s3.lastModified}):ge (604800000)}

问题是 ListS3 处理器将维护状态，并且下次不会重新列出所有文件来计算是否有文件即将过期并需要删除。我环顾四周，但找不到类似 Get* 处理器的东西，它不会维护状态。如何修复此流程，使其定期运行并不断删除 7 天前的文件？

Answer 1

你是对的，NiFi 目前没有处理器可以通过这种方式查询 S3。

这可能更适合 S3 Lifecycle Rule 。您可以为特定的键前缀配置规则，以便 S3 将在 7 天后自动删除对象。从 S3 控制台:

• 选择您的存储桶
• 选择属性
• 展开“生命周期”部分
• 点击“添加规则”

有一个向导式界面可以引导您完成配置。