apache-spark - Spark thrift 服务器仅使用 2 个内核

Question

Google dataproc 一个节点集群，VCores Total = 8。我已经从用户 spark 尝试过:

/usr/lib/spark/sbin/start-thriftserver.sh --num-executors 2 --executor-cores 4

试图改变/usr/lib/spark/conf/spark-defaults.conf

试图执行

   export SPARK_WORKER_INSTANCES=6
   export SPARK_WORKER_CORES=8

在启动 thriftserver.sh 之前

没有成功。在 yarn UI 中，我可以看到 thrift 应用程序仅使用 2 个内核和 6 个可用内核。

更新 1:spark ui 的环境选项卡:

spark.submit.deployMode client
spark.master    yarn
spark.dynamicAllocation.minExecutors    6
spark.dynamicAllocation.maxExecutors    10000
spark.executor.cores    4
spark.executor.instances    1

Answer 1

这取决于该应用程序使用的 yarn 模式。可以是 yarn 客户端 - Application Master 的 1 个核心(应用程序将在您运行命令 start-thriftserver.sh 的机器上运行)。对于 yarn cluster - 驱动程序将位于 AM 容器内，因此您可以使用 spark.driver.cores 调整内核。执行器将使用其他核心(默认情况下 1 个执行器 = 1 个核心)请注意 --num-executors 2 --executor-cores 4 不会工作，因为您最多有 8 个内核，AM 容器需要 +1 个(总共 9 个)您可以从 Spark UI 检查核心使用情况 - http://sparkhistoryserverip:18080/history/application_1534847473069_0001/executors/

以下选项仅适用于 Spark 独立模式:

export SPARK_WORKER_INSTANCES=6
export SPARK_WORKER_CORES=8

请在此处查看所有配置 - Spark Configuration (latest)

在您的情况下，您可以编辑 spark-defaults.conf 并添加:

spark.executor.cores 3
spark.executor.instances 2

或者使用 local[8] 模式，因为无论如何你只有一个节点。