apache-spark - Zeppelin 在 YARN 中坚持工作

Question

当我从 Zeppelin 运行 Spark 作业时，该作业成功完成，但它停留在 YARN on 模式运行中。问题是作业正在占用 YARN 中的资源。我认为 Zeppelin 坚持 YARN 的工作。

我该如何解决这个问题？

谢谢

Answer 1

有两种解决方案。

快速的方法是使用 "restart interpreter" functionality ，这是错误的命名，因为它只是停止解释器。在这种情况下，Yarn 中的 Spark 作业。

优雅的一种是配置 Zeppelin 以使用 dynamic allocation与星火。在这种情况下，Yarn 应用程序主机将继续运行，Spark 驱动程序将继续运行，但所有执行程序(它们是真正的资源消耗者)在不使用时都可以由 Yarn 释放。