hadoop - SPARK 在集群中的每台机器上只使用一个虚拟内核

Question

似乎当我在 YARN 中运行 spark 应用程序时，它在每台机器上只使用 1 个核心。如何让它使用机器上的所有内核？

我的 yarn-site.xml 是:

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>57344</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-vcores</name>
    <value>5</value>
<property>
    <name>yarn.scheduler.maximum-allocation-vcores</name>
    <value>30</value>
</property>

我的 spark-defaults.conf 具有以下内容:

spark.driver.memory=8g
spark.driver.cores=3
spark.executor.memory=48g
spark.executor.cores=30

当我执行“htop”时，它显示有很多核心正在使用。但是在 yarn webUI 中，我看到只使用了 1 个 vCore。

Answer 1

终于弄清楚缺少什么了。

spark-defaults.conf 需要这两行:

spark.dynamicAllocation.enabled=true
spark.shuffle.service.enabled=true

如果您使用的是 Spark 1.4 及更高版本(我不确定 1.3)，则应使用上述内容。对于旧版本的 spark:

spark.executor.instances=15

应该使用。