java - Apache Spark : java. lang.OutOfMemoryError:Java 堆空间问题

Question

当我每第二次运行同一个 Spark 程序时，我都会遇到 java.lang.OutOfMemoryError: Java Heap Space 问题。

这是一个场景:

当我执行spark-submit并第一次运行spark程序时，它给了我正确的输出并且一切都很好。当我再次执行相同的 spark-submit 时，它会抛出 java.lang.OutOfMemoryError: Java Heap Space 异常。

什么时候才能再次发挥作用？

如果我在通过执行 - /proc/sys/vm/drop_caches 清除 Linux 缓存后运行相同的 spark-submit ，它会再次成功运行一次。

我尝试设置所有可能的 Spark 配置，例如内存开销、驱动器内存、执行器内存等。

知道这里发生了什么吗？这确实是 Spark 代码的问题，还是由于某些 Linux 机器设置或集群配置方式而发生的？

谢谢。

Answer 1

如果使用df.persist()或df.cache()，那么您也应该使用df.unpersist()方法，还有 sqlContext.clearCache() 可以清除所有内容。