apache-spark - 如何在 Yarn 上配置应用程序驱动程序的自动重启

Question

来自 Spark 编程指南

为了从驱动程序故障中自动恢复，用于运行流应用程序的部署基础结构必须监视驱动程序进程并在它失败时重新启动驱动程序。不同的集群管理器有不同的工具来实现这一点。

Spark 独立

Spark 独立版 - 可以提交一个 Spark 应用程序驱动程序在 Spark Standalone 集群中运行(参见集群部署模式)，即应用程序驱动程序本身运行在其中一个工作节点上。此外，可以指示独立集群管理器监督驱动程序，并在驱动程序由于非零退出代码或由于运行驱动程序的节点失败而失败时重新启动它。有关更多详细信息，请参阅 Spark Standalone 指南中的集群模式和监督。

yarn - Yarn 支持类似的机制来自动重启应用程序。有关更多详细信息，请参阅 YARN 文档。
....

So, the question is how to support the auto-restart for Spark Streaming on Yarn.

谢谢和最好的问候，

陶

Answer 1

如此处所述:
https://spark.apache.org/docs/latest/running-on-yarn.html

spark.yarn.maxAppAttempts -
“提交应用程序的最大尝试次数。它不应大于 YARN 配置中的全局最大尝试次数。”

设置“YARN 配置中的全局最大尝试次数”:

https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

yarn.resourcemanager.am.max-attempts -
“申请尝试的最大次数。它是所有应用大师的全局设置。每个应用大师可以通过API指定自己的最大申请尝试次数，但单个次数不能超过全局上限。如果是，资源管理器将覆盖它。默认数字设置为 2，以允许至少一次重试 AM”