hadoop - YARN可以抢占Spark驱动程序吗？

Question

有人可以澄清YARN是否可以抢占Spark驱动程序，因为应用程序消耗的资源超过了其队列允许的资源？

这个问题来自于产品集群上的场景:

CDH 5.12，hadoop 2.6.0，使用了合理的调度程序

队列A = 50％，队列B = 25％，队列C = 25％

两个应用程序(例如app1和app2)在队列B中运行，并且已经消耗了所有群集资源。

一段时间后

app3在队列A中启动并声明其资源

app1和app2杀死了他们的一些执行器(至少我看到ERROR | SIGTERM handler | org.apache.spark.executor.CoarseGrainedExecutorBackend | RECEIVED SIGNAL TERM)

app1打印有关ApplicationMaster死亡的错误消息:ERROR | SIGTERM handler | org.apache.spark.deploy.yarn.ApplicationMaster | RECEIVED SIGNAL TERM。 NM日志只是说驱动程序容器已被杀死:Stopping container with container Id: app1_driver_containerId。

我在文档中找不到任何证据可以证明RM可以杀死应用程序母版。 Docs说，它有礼貌地要求master释放资源，而我没有释放它们，那么它将强行杀死容器。可以杀死AM吗？

Answer 1

简短的答案是肯定的，尽管有一个添加配置的标签可以避免https://issues.apache.org/jira/browse/YARN-9537。