java - 错误 SparkContext : Error initializing SparkContext. java.lang.IllegalArgumentException:系统内存 259522560 必须至少为 471859200

Question

所以我是 Spark 新手。我的版本是:Spark 2.1.2、Scala 版本 2.11.8(Java HotSpot(TM) 64 位服务器 VM、Java 1.8.0_131)。我在 Windows 10 (x64) 上使用 IntellijIdea 2018 Community。每当我尝试运行一个简单的字数统计示例时，我都会收到以下错误:

18/10/22 01:43:14 ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration. at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMemory(UnifiedMemoryManager.scala:216) at org.apache.spark.memory.UnifiedMemoryManager$.apply(UnifiedMemoryManager.scala:198) at org.apache.spark.SparkEnv$.create(SparkEnv.scala:330) at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:174) at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257) at org.apache.spark.SparkContext.(SparkContext.scala:432) at WordCount$.main(WordCount.scala:5) at WordCount.main(WordCount.scala)

PS:这是作为示例的单词计数器的代码:

import org.apache.spark.{SparkConf,SparkContext}
object WordCount {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("mySpark").setMaster("local")
val sc = new SparkContext(conf)
val rdd = sc.textFile(args(0))
val wordcount = rdd.flatMap(_.split("\t") ).map((_, 1))
  .reduceByKey(_ + _)
for (arg <- wordcount.collect())
  print(arg + " ")
println()
//    wordcount.saveAsTextFile(args(1))
//    wordcount.saveAsTextFile("myFile")
sc.stop()
}
}

所以我的问题是如何消除这个错误。我搜索了解决方案并尝试安装不同版本的Spark和JDK和Hadoop，但没有帮助。我不知道问题出在哪里。

Answer 1

如果你在 IntelliJ 中，你可能会遇到很多困难，我所做的并且有效的是我在 SparkSession 之前通过执行以下操作初始化了 SparkContext

1. val conf:SparkConf = new SparkConf().setAppName("名称").setMaster("本地")
.set("spark.testing.memory", "2147480000")

2. val sc:SparkContext = new SparkContext(conf)

也许有更好的解决方案，因为这里我实际上不需要初始化 SparkContext，因为它是通过初始化 SparkSession 隐式完成的。