java - sbt 不会组装 Spark

Question

我在使用机器上的 sbt 组装 Spark 时遇到问题。 在不分配额外内存的情况下尝试组装要么用完，要么在垃圾收集器上超时；在我尝试过的不同时间，确切的问题有所不同。但是，任何通过 Xmx 或 Xms 修改分配的内存的尝试，无论是提供更多还是限制，都会失败，因为 sbt 无法将 -Xmx 或 -Xms 识别为命令。

这是我一直在尝试的那种命令的示例(来自 Spark 的源目录):

sbt -Xmx2g assembly

这是我收到的错误:

java.util.concurrent.ExecutionException:java.lang.OutOfMemoryError: GC overhead limit exceeded
Use 'last' for the full log.
Not a valid command: Xmx2g
Not a valid project: Xmx2g
Expected ':' (if selecting a configuration)
Not a valid key: Xmx2g
Xmx2g
     ^

我正在运行 64 位 Java，版本 1.8.0_20。

Answer 1

尝试创建一个新的环境变量 SBT_OPTS，其值为 "-XX:MaxPermSize=1024m"。这应该给 sbt 所需的内存而不会产生错误。