java - Spark 1.6-无法在 hadoop 二进制路径中找到 winutils 二进制文件

Question

我知道有一个与此非常相似的帖子(Failed to locate the winutils binary in the hadoop binary path)，但是，我已经尝试了建议的每个步骤，但仍然出现相同的错误。

我正在尝试在 Windows 7 上使用 Apache Spark 1.6.0 版来执行此页面上的教程 http://spark.apache.org/docs/latest/streaming-programming-guide.html ，具体使用此代码:

./bin/run-example streaming.JavaNetworkWordCount localhost 9999

但是，这个错误一直出现:

看完这篇文章 Failed to locate the winutils binary in the hadoop binary path

我意识到我需要 winutils.exe 文件，所以我下载了一个 hadoop 二进制 2.6.0，定义了一个名为 HADOOP_HOME 的环境变量:

 with value C:\Users\GERAL\Desktop\hadoop-2.6.0\bin  

然后像这样把它放在 Path 上:%HADOOP_HOME%

但是当我尝试代码时仍然出现同样的错误。有谁知道如何解决这个问题？

Answer 1

如果您在带有 Hadoop 的 Windows 上运行 Spark，则需要确保您的 Windows hadoop 安装正确。要运行 spark，您需要在 hadoop 主目录 bin 文件夹中包含 winutils.exe 和 winutils.dll。

我会请你先试试这个:

1) 您可以从下面链接中的包中下载 .dll 和 .exe 文件。

https://codeload.github.com/sardetushar/hadooponwindows/zip/master

2) 将 winutils.exe 和 winutils.dll 从该文件夹复制到 $HADOOP_HOME/bin。

3) 在您的 spark-env.sh 或命令中设置 HADOOP_HOME，并将 HADOOP_HOME/bin 添加到 PATH。

然后尝试运行。

如果您需要任何关于 hadoop 安装帮助的帮助，这里有一个不错的链接，您可以尝试一下。

http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

但是，那可以等等。您可以尝试前几个步骤。