apache-spark - 如何在 Windows 8 上构建 Spark 1.1.0？

Question

我正在尝试在 Windows 8 上构建 Apache Spark 1.1.0。

我已经安装了所有先决条件(Hadoop 除外)并在根目录中运行了 sbt/sbt assembly。下载许多文件后，我在以下行后收到错误:

Set current project to root <in build file:C:/.../spark-0.9.0-incubating/>". The error is: 
[error] Not a valid command: / 
[error] /sbt 
[error]  ^ 

如何在 Windows 上构建 Spark？

Answer 1

注意请参阅我对版本差异的评论。

错误 Not a valid command:/ 来自已执行并尝试执行命令 / 的 sbt(作为 /sbt< 中的第一个字符字符串)。这只能意味着您在 PATH(可能单独安装在当前工作目录之外)或当前工作目录中有可用的 sbt shell 脚本。

只需执行 sbt assembly 就可以正常构建 Spark。

根据 the main page of Spark :

If you’d like to build Spark from scratch, visit building Spark with Maven.

这清楚地表明 Spark 的官方构建工具现在是 Maven(不幸的是)。

您应该能够使用以下命令构建 Spark 包:

mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

它对我来说效果很好。