apache-spark - Spark 执行器状态 Exited 与 Killed 之间有什么区别？

Question

我正在使用 spark 1.2.1。当我运行 spark 作业时，有时我会得到执行程序状态“已退出”，有时是“已杀死”，在这两种情况下，作业都成功完成并且我调用了 SparkContext.stop()...

我未能理解这些状态的含义。

Spark 执行器状态 Exited 和 Killed 之间有什么区别？

Answer 1

Exited - 这意味着 Executor 完成了处理并且干净地存在，没有任何错误或异常。

Killed - 这意味着该执行者被停止并要求杀死执行者的 worker 杀死。这种情况可能是由于多种原因造成的，例如某些用户驱动的操作，或者可能是您的执行程序已完成处理但由于某种原因它不存在但工作人员正在退出因此它需要杀死执行程序。

另外，作为一种好的做法，我们应该在作业结束时调用 SparkContext.stop() 方法。虽然这不能确保您始终处于“退出”状态，但它肯定会确保执行清理并取消分配资源。