ruby-on-rails - 轮询新 S3 对象的最佳方法？

Question

所以我使用 S3 作为图像存储，其中图像不断上传到带有各种软件的存储桶。

我还在构建一个 Rails 应用程序，让人们可以浏览 S3 上的图像库，但对于性能问题，我需要在本地数据库中保留有关图像的信息副本，因此我不必在任何时候连接到 S3 的 API有人查看画廊。

现在，在我的数据库上没有信息的 S3 上获得新对象通知的最佳方法是什么？

我想让一个 worker 不断获取所有 S3 对象的列表并注册我们没有的对象，但 S3 每个 API 请求限制为 1000 个对象，我在 API docs 上找不到方法。为下一个请求指定一个偏移量，直到所有对象都被获取。

有人有什么想法吗？

附言我正在使用 this gem连接到 S3

Answer 1

如 this answer here 中所述并在 S3 documentation , S3 不允许在将新文件上传到 S3 后通知。通过轮询，您迟早会达到一些限制。

我会尝试不同的方法。转到您的上传软件并在那里添加通知。例如，您可以向 SNS 发送通知，告知正在完成新的上传。您可以订阅此 SNS 队列，然后在您的服务器上使用后台任务并在您的数据库中填写必要的信息。

但是，如果您想采用投票方式，请查看 Marker您链接的文档页面中的结果对象中的属性。每个请求都会返回一个标记，如果您将此标记提供给下一个请求，您将获得在您的第一个查询中不可用的下一个对象。