hadoop - 从 Internet 直接下载文件到我的 S3 存储桶

Question

我在 AWS 基础设施上使用 EMR (Elastic MapReduce)，为程序提供输入文件(大型数据集)的默认方式是将它们上传到 S3 存储桶并从中引用那些存储桶在 EMR 内。

通常我将数据集下载到我的本地开发机器，然后将它们上传到 S3，但是对于较大的文件，这变得越来越困难，因为上传速度通常比下载速度低得多。

我的问题是有没有一种方法可以从互联网上下载文件(给定它们的 URL)直接到 S3 中，这样我就不必将它们下载到我的本地机然后手动上传？

Answer 1

没有。您需要一个中介 - 通常，使用 EC2 实例而不是您的本地机器来提高速度。