gpt4 book ai didi

amazon-web-services - 如何添加 EMR Spark 步骤?

转载 作者:行者123 更新时间:2023-12-02 19:31:45 25 4
gpt4 key购买 nike

根据docs :

For Step type, choose Spark application.

但在 Amazon EMR -> 集群 -> mycluster -> 步骤 -> 添加步骤 -> 步骤类型中,唯一的选项是:

enter image description here

最佳答案

有两种方法可以添加 EMR Spark 步骤:

- 使用 command-runner.jar (自定义应用程序) enter image description here

spark-submit --class org.apache.spark.examples.SparkPi /usr/lib/spark/examples/jars/spark-examples.jar 10

使用 aws cli 执行相同操作

aws emr add-steps --cluster-id j-xxxxxxxx --steps Name="add emr step to run spark",Jar="command-runner.jar",Args=[spark-submit,--class,org.apache.spark.examples.SparkPi,/usr/lib/spark/examples/jars/spark-examples.jar,10]

- Spark 应用程序 enter image description here

关于amazon-web-services - 如何添加 EMR Spark 步骤?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61694399/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com