apache-spark - 在 Windows 上安装 Apache Spark

Question

我需要安装 Apache Spark在 Windows 机器上。根据文档，我应该在我的机器上安装 sbt 并覆盖其默认选项以使用最大 2G 的 RAM。

在尝试了很多之后，我决定改用 maven(我覆盖了默认选项以使用 512MB)并且我可以运行 mvn compile 开始下载一些依赖项，直到它到达 Zinc 服务器。它说 Zinc 服务器没有在端口 8080 上运行并且 Maven 构建失败。

我需要在本地安装 Zinc 服务器并将其添加到 Windows 路径吗？我可以在没有服务器的情况下编译我的项目吗？

Answer 1

我刚刚开始学习 Apache Spark，所以我可能离正确的答案还很远。它在 Mac OS X 上对我有效，因此您的理解可能会有所不同。

构建过程在 Building 中有描述:

Spark uses Simple Build Tool, which is bundled with it. To compile the code, go into the top-level Spark directory and run

sbt/sbt assembly

我没有更改默认build设置来进行组装。

昨天的源构建:

jacek:~/oss/spark
$ sbt/sbt assembly
...
[success] Total time: 3632 s, completed May 6, 2014 2:39:07 AM

今天使用一些环境变量从源构建，这些环境变量在最终组装中添加了一些其他模块:

jacek:~/oss/spark
$ SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_HIVE=true sbt/sbt assembly
...
[success] Total time: 4564 s, completed May 7, 2014 1:49:56 AM