amazon-web-services - 寻求有关将大文件从带宽受限的服务器下载到 AWS S3 存储桶的方法的建议

Question

对于我正在处理的项目，需要提取一个每天更新并在特定客户 URL 上可用的大型文本文件，并将其存储在 AWS S3 中，然后触发文件的下游处理(细节不重要)。

我正在考虑让 CloudWatch 每 24 小时触发一次 AWS Lambda 在 S3 中完成下载和存储，这可行，但有一个问题:文件大小为 36MB，由限制下载的主机提供服务到 100kB/s(我无法控制)。这意味着至少需要 360 秒(即 6 分钟)才能完全下载文件。然而，AWS Lambda 函数的运行时间上限为 300 秒，这实际上使得无法用于此任务，因为 Lambda 在文件完全下载之前超时并退出。

我正在寻找解决 AWS Lambda 的 300 秒运行时间限制以实现此目标的方法的建议。

只要我坚持使用 AWS，我看到的唯一选择就是在 EC2 实例上设置一个 cron 作业，但这似乎很昂贵/矫枉过正，特别是如果我最终不需要一个永远在线的 EC2其他任何东西。

谢谢!

Answer 1

我会让 Lambda 启动一个运行复制作业的小型 EC2 实例。您可以为 EC2 实例使用自定义 AMI，也可以使用 cloud-init 脚本来设置所有内容。让 EC2 上的程序运行一下，请记住，无论您需要多少时间，都会按一小时收费。但是，如果整个过程需要 15 分钟(因为无法保证不会出现某些交通拥堵)并且您使用的是 t2.nano，则您需要支付 0.006 美元(十分之六美分)外加一些 I/O 费用，并且，可能，EBS 空间。我敢打赌你会花很少的钱。

作业完成后，它会终止正在运行的 EC2 实例。

我意识到这有点麻烦 - CloudWatch 触发 Lambda，Lambda 触发 EC2。但仅靠 CloudWatch 无法满足您对 EC2 的需求。