apache-spark - 对于 YARN 中的单个队列，如何将 state=RUNNING 中的 spark 应用程序数量限制为 1？

Question

我有多个 Spark 作业。通常我将我的 spark 作业提交给 yarn，我有一个选项是 --yarn_queue它告诉它要进入哪个 yarn 队列。

但是，这些作业似乎在同一个队列中并行运行。有时，一个 spark 作业的结果是下一个 spark 作业的输入。如何在同一队列中按顺序而不是并行运行我的 spark 作业？

我看过this容量调度程序页面。但我能看到的最接近的是属性 yarn.scheduler.capacity.<queue>.maximum-applications .但这只是设置了可以同时处于 PENDING 和 RUNNING 状态的应用程序的数量。我有兴趣设置可以处于 RUNNING 状态的应用程序数量，但我不关心处于 PENDING(或 ACCEPTED，两者是一回事)的应用程序总数。

对于单个队列，如何将 state=RUNNING 中的应用程序数量限制为 1？

Answer 1

您可以在容量调度程序配置中管理适当的队列一次运行一个任务。我建议为此目的使用 ambari。如果您没有这样的机会，请应用来自 guide 的说明