apache-spark - Spark提交使用其他容器

Question

在使用静态分配执行Spark-submit时，产生的容器数量高于num-executors手动提交中提到的数量。作业占用其他资源的任何特定原因。

Spark -2.4.4

spark-submit \
--name "name" \
--master "yarn" \
--deploy-mode "cluster" \
--queue "queue" \
--driver-memory "1g" \
--executor-memory "1g" \
--num-executors "10" \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=PYSPARK_PYTHON \
--conf spark.sql.autoBroadcastJoinThreshold=-1 \
--conf spark.yarn.submit.waitAppCompletion=false \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.executor.memoryOverhead=512 \
--conf spark.driver.memoryOverhead=512 \
--conf spark.sql.shuffle.partitions=100 \
--conf spark.shuffle.consolidateFiles=true \
--properties-file properties_file \
--archives ZIP_FILE \
--jars  JARS

请让我知道是否需要任何其他信息。

Answer 1

好像 yarn 不明白您的要求。我不确定，但是--num-executors "10"中大约10的引号是多余的。