asynchronous - 在 s3 中传输数据的有效方法

Question

我有 50 亿多个 key 可以从一个区域复制到另一个区域。目前，我正在处理线程和多处理，但我得到的结果对于我的需求来说有点慢。对于 1000 PUT，我的时间从 8 秒到近 2 分钟(平均约 50 秒)不等。复制请求。这将需要将近一年的时间才能完成。

有谁知道更快的方法来解决这个问题？我正在阅读有关 python 的 asyncore模块，它看起来很有希望，但对我来说相当困惑。如何将 boto 与 asyncore 集成？

Answer 1

不幸的是，当需要大量请求时，API 可能效率很低。

HTTP 开销在这里起着重要作用。
向 API 抛出 50 亿个 COPY 请求将需要一段时间，即使使用线程，以传统方式等待每个响应也需要很长时间(如您所说，数年)，因为每个请求都会阻塞一个线程。

因此，您使用非阻塞异步连接的想法是一个很好的开始。

不幸的是，我不是一个出色的 python 开发人员，所以我无法真正帮助您替换 boto 中的底层 http 客户端。

This guys使用 tornado.httpclient 已经这样做了(他们说又快又脏)

也许您可以使用它来了解如何实现 asyncore