http - S3 是否支持 HTTP 流水线？

Question

我每分钟有数千个小文件(大约 1 KB)要上传到 S3。如果我上传循环中的每个文件“发送我的 HTTP 请求 - 等待 S3 的 HTTP 响应 - 发送下一个请求 - 等待下一个响应......”，它花费了很多时间，因为我必须在 S3 和我的服务器之间等待 2 倍的延迟。当然，我已经使用了 HTTP Keep-Alive header 。

所以我尝试发送多个 HTTP 请求而不等待相应的(HTTP 流水线)。我尝试批量发送 20 个请求并等待 20 个响应。我预计这可能会节省很多时间，因为我仍然可以在上一个响应在途中发送请求。

然而，它并没有让世界变得更美好。

我在大约 200 毫秒内发送了 20 个请求，然后我尝试接收响应。我希望在收到第一个响应后我可以像发送请求一样快地收到响应，比如 this graph .

事实是，在我收到第一个响应后，我必须等待大约 300 毫秒才能收到每个响应。与发送一个请求并接收一个响应相比，没有比这更好的了。

为什么我不能缩短流水线技术的时间？为什么 S3 为每个请求花费这么多时间？S3 是否支持 HTTP 流水线？

谢谢。

Answer 1

Amazon S3 支持并行化以解决每个请求的延迟问题。

您可以向 S3 发出数百个并发请求，并在很短的时间内上传大量文件。