amazon-ec2 - EC2上的Spark无法利用所有可用内核

Question

我在通过Spark脚本设置的EC2群集上运行spark-ec2.sh。我启动的5个从属实例共有40个核心，但是每个实例都无法利用所有核心。

从奴隶日志中，我可以看到奴隶似乎一一执行任务。我在从属实例上运行最高，CPU大约是100％，而不是800％。

我已打开spark.mesos.coarse模式。并将数据分为40个块。当我在本地以独立模式运行Spark时，它可以利用8个内核。

我可以做些什么使Spark从站利用所有可用的内核？

Answer 1

尝试在创建spark.cores.max之前将8设置为SparkContext

在Spark 0.9中：

val conf = new SparkConf() 
   .setMaster("...")
   .set("spark.cores.max", "8")
val sc = new SparkContext(conf)