python - EMR 如何处理 s3 存储桶的输入和输出？

Question

我正在启动一个 EMR 集群，并且已经创建了指定的存储桶 in the EMR docs ，但是我应该如何上传数据并从中读取数据？在我的 Spark 提交步骤中，我使用 s3://myclusterbucket/scripts/script.py 说出脚本名称，输出是否不会自动上传到 s3？如何处理依赖关系？我尝试使用 pyfiles 指向 s3 存储桶内的依赖项 zip，但不断返回“文件未找到”

Answer 1

EMR 中的 MapReduce 或 Tez 作业可以直接访问 S3，因为 EMRFS(基于 S3 的 AWS 专有 Hadoop 文件系统实现)，例如，在 Apache Pig 中，您可以执行以下操作 loaded_data = LOAD 's3://mybucket/myfile.txt' USING PigStorage();

不确定基于 Python 的 Spark 作业。但一种解决方案是首先将对象从 S3 复制到 EMR HDFS，然后在那里进行处理。

有多种方法可以进行复制:

• 使用hadoop fs将对象从 S3 复制到 EMR HDFS(反之亦然)的命令，例如 hadoop fs -cp s3://mybucket/myobject hdfs://mypath_on_emr_hdfs

• 使用 s3-dist-cp 将对象从 S3 复制到 EMR HDFS(反之亦然)http://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

您还可以使用 awscli (或 hadoop fs -copyToLocal )将对象从 S3 复制到 EMR 主实例本地磁盘(反之亦然)，例如 aws s3 cp s3://mybucket/myobject .