amazon-s3 - EMR 上的 Flink 无法从 "flink run"命令访问 S3 存储桶

Question

我正在为我们计划部署的基于 Flink 的系统制作 AWS EMR 的使用原型(prototype)。我的集群有以下版本:

Release label: emr-5.10.0
Hadoop distribution: Amazon 2.7.3
Applications: Flink 1.3.2

在亚马逊提供的文档中:Amazon flink documentation

以及来自 Flink 的文档:Apache flink documentation

两者都提到直接使用 S3 资源作为集成文件系统与 s3://<bucket>/<file>图案。我已验证是否设置了所有正确的权限，我可以使用 AWS CLI 毫无问题地将 S3 资源复制到主节点，但尝试使用来自 S3 的 Jar 启动 Flink 作业不起作用。

我正在执行以下步骤:

JAR location : command-runner.jar
Main class : None
Arguments : flink run -m yarn-cluster -yid application_1513333002475_0001 s3://mybucket/myapp.jar
Action on failure: Continue

该步骤总是失败

JAR file does not exist: s3://mybucket/myapp.jar

我已经与 AWS 支持人员谈过，他们建议在前面的步骤中将 S3 文件复制到本地主节点，然后使用本地路径引用它。虽然这显然可行，但我宁愿让 native S3 集成正常工作。

我也尝试过使用 s3a文件系统并得到相同的结果。

Answer 1

您需要从 s3 下载您的 jar 才能在类路径中可用。

aws s3 cp s3://mybucket/myapp.jar myapp.jar

然后运行run -m yarn-cluster myapp.jar