Hadoop YARN 集群性能调优

Question

我想知道一些参数来加速我的 YARN 集群上的 Spark 作业。

我有以下 Spark/YARN 配置，但我对执行速度不满意。我有很多未使用的 vcores 和内存。

Spark 配置:

- spark.yarn.am.cores = 2
- spark.executor.memory = 5g
- spark.executor.cores = 8

yarn 配置:

- yarn.nodemanager.resource.memory-mb = 31744
- yarn.nodemanager.resource.cpu-vcores = 15
- yarn.scheduler.maximum-allocation-mb = 31744

从图片来看，

1. 在节点 3 和 5 上，为什么使用 2GB 中的 6GB。
2. 节点 1、2、4、5、6 上的内 stub 本没有使用

此外，我希望能够在集群中的每个节点上启动更多容器。

非常感谢帮助。

Answer 1

添加这个 spark conf，成功了:

spark.executor.instances = 6