Windows : Unable to load native-hadoop library for your platform. 上的 Hadoop 安装 .. 在适用的情况下使用内置 java 类

Question

我收到 无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 尝试在我的 Windows 10 上安装 hadoop 版本 2.8.3 时出错。

我在 hadoop-env.cmd 文件中设置了以下环境变量:
设置 HADOOP_OPTS=%HADOOP_OPTS% -Djava.library.path=%HADOOP_HOME%/lib/native

另外，我在下面添加了配置

yarn 站点.xml

<configuration>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

核心站点.xml:

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

hdfs-site.xml:

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/datanode</value>
   </property>
</configuration>

mapred-site.xml:

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

I have renamed mapred-site.xml.template file to mapred-site.xml

如果我在这里做错了什么，请告诉我

这么长时间以来，我一直被困在这个安装中。请帮忙。

Answer 1

我在 Windows 10 上遇到了与 hadoop 2.9.1 相同的问题。我能够格式化 namenode 但无法启动 dfs。

我按照 building.txt 的建议，使用 Visual Studio 2017 社区、mvn 等在我的开发主机中为 Windows 平台(包括 winutils.exe 和 hadoop.dll)正确构建了源代码，但是当我尝试在干净的 Windows 10 安装中运行时在 dfs 节点启动时，我遇到了无法加载 native hadoop-library 错误。

我运行 winutils.exe 并给我一个错误:

"Missing VCRuntime140.dll"

我安装了 vc++ 2015 x64 redistributables 并解决了问题，namenode ans datanode up。除了 HADOOP_HOME 之外，无需设置环境变量，并按照 https://wiki.apache.org/hadoop/Hadoop2OnWindows 中解释的 hadoop-env.com 中的编辑进行操作。 .

另外，这是使用 hadoop checknative 命令的结果:

C:\APACHE\HADOOP\bin>hadoop checknative
18/09/08 18:23:35 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version
18/09/08 18:23:35 WARN zlib.ZlibFactory: Failed to load/initialize native-zlib library
winutils: true C:\APACHE\HADOOP\bin\winutils.exe
Native library checking:
hadoop: true C:\APACHE\HADOOP\bin\hadoop.dll
zlib: false
snappy: false
zstd : false
lz4: true revision:10301
bzip2: false
openssl: false build does not support openssl. winutils: true C:\APACHE\HADOOP\bin\winutils.exe