apache-spark - 出错时 yarn 上的 Spark 运行两次

Question

这个问题在这里已经有了答案:





How to limit the number of retries on Spark job failure?

(4 个回答)


4年前关闭。




我使用在 yarn 上产生 Spark 的模型，当我遇到问题时， Spark 会自动重新启动。

无论成功或失败，我都想精确运行一次。

有没有可以设置的conf或api？

我正在使用 Spark 1.5 版。

Answer 1

您必须设置 spark.yarn.maxAppAttempts属性为 1。默认值为 yarn.resourcemanager.am.max-attempts默认为 2。

通过代码设置属性:

SparkConf conf = new SparkConf();
conf.set("spark.yarn.maxAppAttempts", "1");

通过 spark-submit 提交作业时设置:

--conf spark.yarn.maxAppAttempts=1