scala - 在 IntelliJ Scala 控制台中运行时如何设置 Spark MemoryStore 大小？

Question

我在 Linux 64 (Fedora 25) 上的 Intellij (CE 2017.1) Scala 控制台中将 Spark 代码作为脚本运行。我在开始时设置了 SparkContext:

import org.apache.spark.{SparkConf, SparkContext}
val conf = new SparkConf().
  setAppName("RandomForest").
  setMaster("local[*]").
  set("spark.local.dir", "/spark-tmp").
  set("spark.driver.memory", "4g").
  set("spark.executor.memory", "4g")

val sc = new SparkContext(conf)

但是正在运行的 SparkContext 总是以同一行开始:

17/03/27 20:12:21 信息 SparkContext:运行 Spark 版本 2.1.0

17/03/27 20:12:21 信息 MemoryStore:MemoryStore 以 871.6 MB 的容量启动

17/03/27 20:12:21 INFO BlockManagerMasterEndpoint:使用 871.8 MB RAM 注册 block 管理器 192.168.1.65:38119，BlockManagerId(驱动程序，192.168.1.65、38119，无)

Spark Web UI 中的 Executors 选项卡显示相同的数量。在开始之前从终端导出 _JAVA_OPTIONS="-Xms2g -Xmx4g"在这里也没有效果。

Answer 1

增加 Spark MemoryStore 并最终增加 Web UI 的 Storage memory Executors 选项卡的唯一方法是在启动前直接在 Intellij Scala 控制台设置中的 VM 选项中添加 -Xms2g -Xmx4g。

现在信息行打印:

17/03/27 20:12:21 信息 MemoryStore:MemoryStore 以 2004.6 MB 容量启动

17/03/27 20:12:21 INFO BlockManagerMasterEndpoint:使用 2004.6 MB RAM 注册 block 管理器 192.168.1.65:41997，BlockManagerId(驱动程序，192.168.1.65、41997，无)

Spark web UI Executors 选项卡 Storage Memory 显示 2.1 GB。