linux - 如何让Windows上的Apache Spark访问Linux上的Hadoop？

Question

首先，我几乎没有使用 Apache Hadoop 和 Apache Spark 的经验。

我现在想要的是:

• Hadoop 在 Hortonworks Sandbox 2.1 上运行，而 Hortonworks Sandbox 2.1 安装在 Windows 7 机器上。
• Spark shell 和 Spark 程序运行在与上述相同的 Windows 7 机器上。
• Spark shell 和 Spark 程序可以在 Hortonworks Sandbox 2.1 上使用 Hadoop。

我想在 Windows 上运行 Spark 的原因是，我想在我熟悉的 Windows 7 机器上开发 Spark 程序。

安装 Hortonworks Sandbox 2.1 非常简单。

然后我尝试在 Windows 7 机器上构建 Spark，如下所示:

• 安装 JDK 7、Git、sbt(JDK 8 不适用于 sbt，至少目前:2014.5.8)
• git clone git://github.com/apache/spark.git(当 SPARK_YARN=true 时，spark-0.9.1 不使用 Hadoop 2.4.0 编译，如 https://issues.apache.org/jira/browse/SPARK-1465 中所述)
• 运行cmd
• cd 到spark根目录
• set SPARK_HADOOP_VERSION=2.4.0(Hortonworks Sandbox 2.1 上的 Hadoop 是 2.4.0.2.1.1.0-385)
• 设置 SPARK_YARN=true
• sbt 程序集

完成。成功。
但是当我运行 bin\spark-shell 时，出现了以下警告。

14/05/08 11:26:15 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/05/08 11:26:15 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
    at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:318)
    at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:333)
    ...

显然 spark shell 需要 winutil.exe。
我发现 winutils.exe 是 Hadoop 的一部分，但它不包含在正常的预构建分发中。
所以我在 Windows 上构建了 Hadoop。
遇到一些麻烦，我设法构建了 hadoop-2.4.0.tar.gz，其中包括 winutils.exe 和 Hadoop.dll。

可是……我不知道以后该怎么办了。
如何安装或应用构建的 Hadoop 包，以便 Spark 可以访问 Hortonworks Sandbox 2.1 上的 Hadoop？

欢迎提出任何建议。

Answer 1

我已经成功地使用 Spark 1.0.0 设置了上述配置。

故事有点长，但大多数问题都与配置有关。也许有经验的 Spark + Hadoop 开发人员不会有任何问题，除了我将在下面写的那个。
而且上面的问题是针对Spark 0.9.1的，现在已经过时了，所以回答起来用处不大。

但有一个问题是跨平台问题，并且仍然适用于 Spark 1.0.0。
我为它创建了一个拉取请求:https://github.com/apache/spark/pull/899
如果有兴趣，请点击链接。

更新:上述跨平台问题已在 1.3.0 版中解决。