hadoop - 如何消除错误 util.Shell : Failed to locate the winutils binary

Question

我在 eclipse 下从 Windows 机器(客户端)执行远程作业，我澄清我的 Windows 客户端上没有安装任何 hadoop，我不需要，我正在远程执行 hadoop 作业，hadoop 是安装在linux机器上。一切都正确执行，但我想摆脱这个错误:

14/09/22 11:49:49 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:355)
at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:370)
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:363)
at sun.misc.Unsafe.ensureClassInitialized(Native Method)
at sun.reflect.UnsafeFieldAccessorFactory.newFieldAccessor(Unknown Source)
at sun.reflect.ReflectionFactory.newFieldAccessor(Unknown Source)
at java.lang.reflect.Field.acquireFieldAccessor(Unknown Source)
at java.lang.reflect.Field.getFieldAccessor(Unknown Source)
at java.lang.reflect.Field.set(Unknown Source)
at MyFirstJob.main(MyFirstJob.java:45)

你知道如何让这个异常不发生吗？

Answer 1

安装 winutils.exe，没有其他方法可以修复此错误。

这里有一些背景信息:Hadoop 会在本地写入一些文件(例如作业配置)，然后再将它们上传到集群。因此，它将需要设置权限、写入一些文件或创建目录。

万一它找不到二进制文件，它无论如何都会回退到 Java 实现，因此您不必担心。然而，没有内置的配置来关闭这个消息，所以真正修复它的唯一方法是重新编译你的 hadoop-common jar 没有这个错误(我猜安装 winutils 不是那个与它相比很糟糕)。