apache-spark - 如何解决java.lang.OutOfMemoryError : Java heap space when train word2vec model in Spark？

Question

Solu:我把参数 driver-memory 40G 放在 spark-submit 中。

问题:我的 Spark 集群由 5 个 ubuntu 服务器组成，每个服务器有 80G 内存和 24 个内核。
word2vec 大约是 10G 新闻数据。
我以这样的独立模式提交作业:

spark-submit --name trainNewsdata --class Word2Vec.trainNewsData --master spark://master:7077 --executor-memory 70G --total-executor-cores 96 sogou.jar hdfs://master:9000/user/bd/newsdata/* hdfs://master:9000/user/bd/word2vecModel_newsdata

当我在 spark 中训练 word2vec 模型时，我出现了:
线程“main”中的异常 java.lang.OutOfMemoryError: Java heap space,
我不知道如何解决它，请帮助我:)

Answer 1

我把params driver-memory 40G放在spark-submit中，然后解决。