python - S3 批量数据更新

Question

我有一堆 json 文档，它们具有存储在 S3 存储桶中的相同字段集。为了将所有这些记录的状态字段从“待定”更新为“完成”，我应该一个接一个地获取文档，更新状态字段并将它们一个接一个地放回 S3 还是有批量处理的方法使用 S3 key 更新 S3 中的这些文档？

Answer 1

对于大量对象，我会考虑使用 Amazon S3 Batch Operations 来执行此操作.您可以使用 boto3 编写一个简单的 Lambda 函数以从 S3 获取对象、更新内容并将对象放回 S3。 S3 Batch 将为每个对象编排调用 Lambda。

对于少量对象，这可能有点矫枉过正，您可以简单地使用 boto3 枚举对象，一个一个地获取它们，修改每个对象，然后放回去。