java - 在Spark-cluster上。是否有一个参数控制spark作业的最短运行时间

Question

我的Spark程序会首先判断输入数据路径是否存在，如果不存在，则安全退出。但是退出后，yarn会重试一次作业。所以，我猜有一个参数将控制作业的最短运行时间。在Spark-cluster上，是否有一个参数控制spark作业的最短运行时间，即即使任务成功但小于该时间，也会触发重试。

---------第一次编辑后--------------

我把重试次数变成了1，现在我不用考虑重试次数了。我的程序的main方法中只有一句话System.out.println('MyProgram');。日志显示一切正常，但yarn认为这是一项失败的工作。我很困惑。

Answer 1

没有。如果您的作业以 exit status 结束，则会重试。除了零之外。