apache-spark - 为什么 Spark(在 Google Dataproc 上)不使用所有 vcore？

Question

我正在 Google DataProc 集群上运行 spark 作业。但看起来 Spark 并没有使用所有 vcores在集群中可用，如下所示



基于其他一些问题，如 this和 this , 我已经设置集群使用 DominantResourceCalculator为资源分配同时考虑 vcpus 和内存

gcloud dataproc clusters create cluster_name --bucket="profiling-
job-default" \
--zone=europe-west1-c \
--master-boot-disk-size=500GB \
--worker-boot-disk-size=500GB \
--master-machine-type=n1-standard-16 \
--num-workers=10 \
--worker-machine-type=n1-standard-16 \
--initialization-actions gs://custom_init_gcp.sh \
--metadata MINICONDA_VARIANT=2 \
--properties=^--^yarn:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

但是当我使用自定义 Spark 标志提交我的工作时，看起来 YARN 不尊重这些自定义参数并且默认使用内存作为资源计算的标准

gcloud dataproc jobs submit pyspark --cluster cluster_name \
--properties spark.sql.broadcastTimeout=900,spark.network.timeout=800\
,yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator\
,spark.dynamicAllocation.enabled=true\
,spark.executor.instances=10\
,spark.executor.cores=14\
,spark.executor.memory=15g\
,spark.driver.memory=50g \
src/my_python_file.py 

可以帮助某人弄清楚这里发生了什么吗？

Answer 1

我做错的是添加配置yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator至 YARN而不是 capacity-scheduler.xml (因为它应该是正确的)同时创建集群

其次，我改了yarn:yarn.scheduler.minimum-allocation-vcores最初设置为 1 .

我不确定这些更改中的任何一个还是这两个更改导致了解决方案(我将很快更新)。我的新集群创建如下所示:

gcloud dataproc clusters create cluster_name --bucket="profiling-
job-default" \
--zone=europe-west1-c \
--master-boot-disk-size=500GB \
--worker-boot-disk-size=500GB \
--master-machine-type=n1-standard-16 \
--num-workers=10 \
--worker-machine-type=n1-standard-16 \
--initialization-actions gs://custom_init_gcp.sh \
--metadata MINICONDA_VARIANT=2 \
--properties=^--^yarn:yarn.scheduler.minimum-allocation-vcores=4--capacity-scheduler:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator