amazon-s3 - 当用户上传到 S3 存储桶时收到通知吗？

Question

这个问题已经有答案了:

已关闭 11 年前。

Possible Duplicate:
Notification of new S3 objects

我们有一个在 S3 上存储用户数据的应用程序。我们的应用程序中处理上传的部分与处理数据的部分是解耦的。在某些情况下，用户将能够直接将数据上传到 S3，而无需通过我们的应用程序(如果他们拥有自己的 S3 帐户并向我们提供凭据，则可能会发生这种情况)。

每当 S3 存储桶的内容发生变化时是否可以收到通知？如果能以某种方式发送一条消息说“此文件已添加/更新/删除:foo”，那就太酷了。

除此之外，是否有一些我可以轮询的时间戳可以告诉存储桶上次更新的时间？

如果我不能做这两件事，那么唯一的选择就是抓取整个存储桶并查找更改。这将是缓慢且昂贵的。

Answer 1

2014-11 更新:

正如 Alan Illing 在评论中指出的那样，AWS 现在支持从 S3 到 SNS 的通知，这些通知可以自动转发到 SQS:http://aws.amazon.com/blogs/aws/s3-event-notification/

S3 还可以向 AWS Lambda 发送通知以直接运行您自己的代码。

预测 S3->SNS 通知的原始响应:

如果 Amazon 支持这一点，他们将使用 SNS 发送对象已添加到存储桶中的通知。但是，目前，S3 和 SNS 支持的唯一存储桶事件是当 Amazon S3 检测到它已丢失减少冗余存储 (RRS) 对象的所有副本并且无法再为该对象的请求提供服务时通知您。

以下是有关 S3 支持的 SNS 事件的文档:

http://docs.amazonwebservices.com/AmazonS3/latest/dev/NotificationHowTo.html

根据文档的编写方式，亚马逊似乎有添加其他通知事件的想法(就像您了解何时添加新 key 的想法)。

鉴于 Amazon 不直接支持，将对象上传到 S3 的 S3 客户端将需要触发通知，或者您需要进行某种轮询。

如果您希望获得近乎实时的更新以进行处理，则可以使用 SNS 来完成上传到 S3 的自定义事件通知；如果您希望让通知堆积起来并进行处理，则可以通过 SQS 来完成按照您自己的节奏排队。

如果您正在进行轮询，您可以通过让客户端上传前缀为“未处理/...”的前缀，后跟唯一 key 来减少需要请求的 key 数量。然后，您的轮询软件可以仅查询以该前缀开头的 S3 key 。当它准备好处理时，它可以将键更改为“处理/...”，然后更改为“已处理/...”或其他。 S3 中的对象当前通过 S3 执行的复制+删除操作进行重命名。