windows - Yarn Nodemanager 未在 Windows 二进制文件上启动

Question

我已经在 windows x64 机器上编译了 hadoop 二进制文件。我还在路径中构建了 native 源代码
hadoop-2.6.0-src.tar\hadoop-2.6.0-src\hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\native

并将相应的 dll 和 winutils 放入我的 bin 文件夹中...

dfs开始很好...
但是 nodemanager yarn 组件没有启动..它的启动失败并出现以下错误......

15/03/24 17:28:22 FATAL nodemanager.NodeManager: Error starting NodeManager
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)
        at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:977)
        at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:187)
        at org.apache.hadoop.util.DiskChecker.checkDirAccess(DiskChecker.java:174)
        at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:108)
        at org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection.testDirs(DirectoryCollection.java:292)
        at org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection.checkDirs(DirectoryCollection.java:231)
        at org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService.checkDirs(LocalDirsHandlerService.java:355)
        at org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService.serviceInit(LocalDirsHandlerService.java:160)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
        at org.apache.hadoop.yarn.server.nodemanager.NodeHealthCheckerService.serviceInit(NodeHealthCheckerService.java:48)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:253)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:462)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:509)
15/03/24 17:28:22 INFO impl.MetricsSystemImpl: Stopping NodeManager metrics system...
15/03/24 17:28:22 INFO impl.MetricsSystemImpl: NodeManager metrics system stopped.
15/03/24 17:28:22 INFO impl.MetricsSystemImpl: NodeManager metrics system shutdown complete.
15/03/24 17:28:22 INFO nodemanager.NodeManager: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NodeManager at ing5nb014
************************************************************/

Answer 1

您还需要构建 hadoop-hdfs 模块中的 native 代码。确保所有内容正确链接的最简单方法是尝试构建整个 Hadoop Maven 项目。您需要下载 Hadoop 源 tar 并运行 mvn clean package -Pdist,native-win -DskipTests -Dtar在 tar 的根文件夹中，而不是仅仅构建 native 模块。假设您的构建完成，在 hadoop-dist/target/hadoop-2.6.0 文件夹中，您将拥有一个完整的 Hadoop 发行版，其中已经正确链接了 native 二进制文件。

请参阅本指南 this guide I wrote recently关于如何在 Windows 上构建和运行 Hadoop。