python - AWS Lambda : Calling the invoke API action failed with this message: Network Error

Question

我创建了一个 lambda，它迭代给定 S3 存储桶中的所有文件并删除 S3 存储桶中的文件。 S3 存储桶有大约 100K 个文件，我正在选择并删除大约 60K 个文件。我已将 lambda 超时设置为最大(15 分钟)超时值。几分钟后，lambda 始终返回“网络错误”，尽管即使返回错误后，它似乎仍会在后台运行一段时间。如何解决这个问题？

Answer 1

S3有Rate Limiting ，这限制了您每秒可以执行的读取和写入次数。

Amazon S3 automatically scales to high request rates. For example, your application can achieve at least 3,500 PUT/POST/DELETE and 5,500 GET requests per second per prefix in a bucket. There are no limits to the number of prefixes in a bucket. It is simple to increase your read or write performance exponentially. For example, if you create 10 prefixes in an Amazon S3 bucket to parallelize reads, you could scale your read performance to 55,000 read requests per second.

如果所有这些对象的键(文件路径)中都具有相同的 8 个字符，则它们具有相同的前缀，并且限制为 3,500 个 DELETE 和 5,500 个 GET。如果是这种情况并且您需要定期执行此操作，请考虑更改前缀，使键的前 8 个字符不同，从而迫使对象分布在更多节点上。我的一个previous answers对此进行了更详细的介绍。

或者，您可以使用 bulk delete每个操作最多删除 1000 个对象。

您看到的延迟可能是由于 eventual consistency当 S3 正在该区域的 AZ 之间同步时。

Amazon S3 offers eventual consistency for overwrite PUTS and DELETES in all regions.