amazon-web-services - 上传文件到 AWS S3 占用大量 CPU

Question

我目前正在开发一个服务器应用程序 (JEE)，在将文件上传到 AWS S3 时遇到了一些问题。我正在使用 Java SDK (S3client.putObject) 上传这些文件。当服务器启动时，一切都按预期发生。文件在服务器(EC2 实例)中生成并在几秒钟内上传到 S3。但是过了几天，性能下降了很多。通常需要 5 或 6 秒才能上传的文件现在需要 10 到 30 分钟(是的，分钟)。我分析了该应用程序，这里的罪魁祸首是使用 AWS Java SDK 进行上传的部分。奇怪的是，CPU 利用率接近 100% 并保持了几分钟。由于这基本上是一个 IO 操作，我不明白为什么它可能需要这么多 CPU 周期才能运行。有没有人经历过这种行为？关于在哪里查看的任何提示？

PS:文件大小从 1 到 50 MB。

非常感谢!

更新:创建文件并将它们上传到 S3 的 EC2 实例是 m1.large。我使用的是 1.6.4 AWS SDK 版本。

Answer 1

我在适用于 .NET 的 AWS SDK 中遇到了同样的问题。将 50GB 的文件上传到 S3 会占用 100% 的 CPU 使用率。

我分析了该应用。

事实证明，那是因为所有 AWS API 请求都必须“签名”，并且一个文件(尤其是大文件)是通过多个请求和 block 发送的，有时是数千个，其中一些是同时发送的。然后通过 SHA256 对每个请求进行哈希处理，并使用 IAM 凭证进行签名。

限制并发线程的数量，禁用 httpS(使用 http)，限制 block 的数量，增加 block 的大小等等。通过这样做你可以减轻负载，但它仍然会使用大约 20-30%快速连接:(((即使您从同一区域的 EC2 发送到 S3，是非常快速的连接)