apache-spark - Spark on YARN 使用的 vcore 太少

Question

我在 YARN 集群 (HDP 2.4) 中使用 Spark，设置如下:

1 个主节点

64 GB RAM(50 GB 可用)

24 核(19 核可用)

5个从节点

每个 64 GB RAM(50 GB 可用)

每个 24 核(19 核可用)

yarn 设置

所有容器(一台主机)的内存:50 GB

最小容器大小 = 2 GB

最大容器大小 = 50 GB

vcores = 19

最小 #vcores/容器 = 1

最大 #vcores/容器 = 19

当我使用命令 spark-submit --num-executors 30 --executor-cores 3 --executor-memory 7g --driver-cores 1 --driver-memory 1800m ... 运行我的 spark 应用程序时YARN 使用以下设置创建了 31 个容器(每个执行器进程一个 + 一个驱动程序进程):

正确 :具有 1 个核心和 ~1800 MB RAM 的主容器

正确 :30 个从属容器，每个容器具有 ~7 GB RAM

但不正确 : 每个从属容器只运行 1芯而不是 3，根据 YARN ResourceManager UI(它仅显示 95 个中的 31 个正在使用，而不是 91 = 30 * 3 + 1)，请参见下面的屏幕截图

我的问题是:为什么 spark-submit参数 --executor-cores 3没有效果？

Answer 1

好的，似乎与此处讨论的问题相同:yarn is not honouring yarn.nodemanager.resource.cpu-vcores该解决方案也对我有用。