gpt4 book ai didi

apache-spark - Spark 壳 : Invalid initial heap size

转载 作者:行者123 更新时间:2023-12-04 04:49:58 25 4
gpt4 key购买 nike

我在 Linux 上运行 spark-1.6.1,当我将 spark-env.sh 中的 SPARK_DRIVER_MEMORY 设置为 4g 并运行 spark-shell 时,我得到了这个:

Invalid initial heap size: -Xms4g
The specified size exceeds the maximum representable size.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

如何增加可表示的最大尺寸?
如果我设置 SPARK_DRIVER_MEMORY=3g (或低于3g),一切正常。
附言我的电脑内存4g多,jdk是1.6的,是64位的。

最佳答案

如果你在 Yarn 上运行 Spark,那么
Spark.driver.memory 应该小于 yarn 容器内存
因为 Spark 应用程序将在 yarn 容器内运行

Spark.driver.memory(spark-default.conf) < yarn.scheduler.maximum-allocation-mb(yarn-site.xml)

更多详情请见here

关于apache-spark - Spark 壳 : Invalid initial heap size,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37673307/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com