hadoop - 如何在 java 中使用 eclipse 在 Windows 上本地运行 Spark

Question

我正在尝试测试 Mllib 的 SVM 实现。我想使用 eclipse 在 Windows 上本地运行他们的 java 示例。我已经下载了 Spark 1.3.1 pre-built for Hadoop 2.6 。当我尝试运行示例代码时，我得到:

15/06/11 16:17:09 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

为了能够在此设置中运行示例代码，我应该更改什么？

Answer 1

1. 创建以下目录结构:“C:\hadoop_home\bin”(或将“C:\hadoop_home”替换为您喜欢的任何内容)

2. 下载以下文件:http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe

3. 将步骤 2 中的文件放入步骤 1 中的“bin”目录中。

4. 将“hadoop.home.dir”系统属性设置为“C:\hadoop_home”(或您在第 1 步中创建的任何目录，末尾没有“\bin”)。