python - "Failed to locate the winutils binary"但我的 pyspark 仍然有效

Question

在 Windows 中，当我启动 pyspark shell 时，出现错误:

2019-04-20 08:11:34 ERROR Shell:397 - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

但是，在那个错误之后，我的 pyspark shell 可以正常启动，并且我可以毫无问题地运行 pyspark 并在其上运行代码。但是，我每次都会收到此错误，但我不确定如何摆脱它。

我已经正确设置了我的环境变量(就像很多人针对这个问题所建议的那样)并且我在正确的 bin 文件夹中有 winutils.exe。 (我在 Hadoop 的相应 bin 文件夹中也有 winutils.exe 和 hadoop.dll)。我相信如果没有设置这些东西，pyspark shell 甚至无法工作。

作为引用，我的环境变量设置为:

• HADOOP_HOME: C:\hadoop
• SPARK_HOME:C:\Spark\spark-2.3.3-bin-hadoop2.7
• 在我放置的路径中:C:\Spark\spark-2.3.3-bin-hadoop2.7 和 C:\hadoop\bin。

我已经为系统变量(除了用户变量)放置了相同的变量。

Hadoop 也可以正常运行并启动(除了显示 50070 UI，而它显示 8080 UI，尽管这可能是一个单独的问题)。

这可能只是一个不会消失的缓存错误吗？有什么建议可以摆脱它吗？谢谢!

Answer 1

我解决了这个问题!错误不再显示。我只是对这些文件进行了以下更改:“conf\spark-env.sh > set HADOOP_HOME=C:\hadoop; in conf\spark-defaults.conf > spark.driver.extraJavaOptions -Djava.library.path=C:/hadoop/bin"

正如该用户在评论中所建议的那样:

Could not locate executable C:\hadoop\bin\winutils.exe in the hadoop binaries

因此，除了在/bin 中拥有适当的 winutils.exe 之外，您的环境变量也按照我上面写的那样设置，还必须将这些添加到我上面指定的文件中。那么在windows上本地运行pyspark应该就没有问题和错误了!