个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我在 Linux 上运行 spark-1.6.1，当我将 spark-env.sh 中的 SPARK_DRIVER_MEMORY 设置为 4g 并运行 spark-shell 时，我得到了这个:
Invalid initial heap size: -Xms4g
The specified size exceeds the maximum representable size.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
最佳答案
如果你在 Yarn 上运行 Spark，那么
Spark.driver.memory 应该小于 yarn 容器内存
因为 Spark 应用程序将在 yarn 容器内运行
Spark.driver.memory(spark-default.conf) < yarn.scheduler.maximum-allocation-mb(yarn-site.xml)
更多详情请见here
关于apache-spark - Spark 壳 : Invalid initial heap size，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/37673307/
25
4
0
我实际上正在致力于在 shell 中实现多管道，我必须说我正在解决我在项目中遇到的一些问题。 一个特殊的细节使得这个多管道实现相当困难，它必须在文件描述符的非常低的限制下工作。 例如，如果您在 bas
我正在编写自己的简单 shell，目前我正在考虑从用户那里获取输入(命令)。 我编写了以下原型(prototype): while(1) { printf("gsh> ");
运行 spark-shell与斯卡拉。 Scala 有 -Dscala.color彩色 REPL 的参数。我想要同样的 Spark 。试过 spark-shell -Dscala.color但这不是获
我正在进行一个Electron项目，该项目的主要重点是向用户展示RTMP格式的视频流。 我一直在遵循一些指南； atom/electron’s official guide; “Using Peppe
当使用“ipython”或“code.interact(local=locals())”时，我希望有一种方法可以保存整个程序地址空间到 pickle 文件中，以及类似的加载此类文件然后在该上下文中开始
我有一个要使用 Spark shell 执行的 Scala 程序，现在当我将粘贴复制到 spark shell 时它不起作用，我必须在里面逐行复制。 我应该如何复制shell中的所有程序？ 谢谢。 最
抱歉我的英语不好。 我想找出大量线性方程的下包络线。这映射到在其双平面中找到上(凸)壳的问题。 据我调查，有几种方法可以找到上层船体，但它们仅适用于 2-3 维。 但是，我的数据是高维的，有可用的库来
我在 Linux 上运行 spark-1.6.1，当我将 spark-env.sh 中的 SPARK_DRIVER_MEMORY 设置为 4g 并运行 spark-shell 时，我得到了这个: In
我是一名优秀的程序员,十分优秀！