python - 在 AWS EMR 上运行 python 脚本

Question

我正在尝试在 EMR 集群上运行 python 和 java 应用程序。我使用下面的代码运行我的 java jar 应用程序，它运行良好。HadoopJarStepConfig runExampleConfig = new HadoopJarStepConfig() .withJar(jar_name) .withArgs(main_arguments);

如何运行 python 脚本而不是 java 应用程序？

Answer 1

您是否尝试过阅读有关 script-runner jar 的内容？在电子病历上？您可以使用如下所示的方法来提交 python 脚本作为 EMR 步骤 -

HadoopJarStepConfig runExampleConfig = new HadoopJarStepConfig() 
.withJar(s3://<region>.elasticmapreduce/libs/script-runner/script-runner.jar)
.withArgs(s3://bucketname/path-to/script.sh);

根据您启动 EMR 集群的区域，需要将其中替换为适当的值(例如:us-east-1)。