apache-spark - 为什么 Spark 执行器核心与 Spark Web UI 中的事件任务不相等？

Question

我正在使用 Spark 2.3 thrift 服务器进行 Ad-hoc Sql 查询。我的spark参数在spark-defaults.conf文件中设置如下:

spark.executor.memory 24G
spark.executor.cores 40
spark.executor.instances 3

但是，当我检查 Spark Web ui 时，Spark 核心与事件任务不相等，如下图所示:

事件任务数量怎么可能大于分配的核心数量？有任何想法吗？谢谢!

Answer 1

我也见过同样的事情。我不是 100% 确定，但我相信这是执行器上的任务线程池和指标报告代码之间的竞争条件。

如果单击线程转储，您将看到正确的线程数。但是，如果尝试 50 次(运气好的话)，您将看到一个额外的任务线程正处于 TIMED_WAITING 状态。