java - Windows 上的 Hadoop 在启动数据节点时出现 Eclipse 错误

Question

我正在学习本教程 http://v-lad.org/Tutorials/Hadoop/14%20-%20start%20up%20the%20cluster.html

我在“启动集群”步骤，但是当我启动数据节点时(当我执行命令:bin/hadoop datanode 时)我收到以下错误:

$ bin/hadoop datanode
12/07/04 23:53:53 INFO datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = halgarci-WS/10.21.144.26
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 0.19.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/bra                             nch-0.19 -r 745977; compiled by 'ndaley' on Fri Feb 20 00:16:34 UTC 2009
************************************************************/
12/07/04 23:53:54 ERROR datanode.DataNode: java.io.IOException: Expecting a line                              not the end of stream
        at org.apache.hadoop.fs.DU.parseExecResult(DU.java:181)
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:179)
        at org.apache.hadoop.util.Shell.run(Shell.java:134)
        at org.apache.hadoop.fs.DU.<init>(DU.java:53)
        at org.apache.hadoop.fs.DU.<init>(DU.java:63)
        at org.apache.hadoop.hdfs.server.datanode.FSDataset$FSVolume.<init>(FSDa                             taset.java:325)
        at org.apache.hadoop.hdfs.server.datanode.FSDataset.<init>(FSDataset.jav                             a:681)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNod                             e.java:291)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:                             205)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode                             .java:1238)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(D                             ataNode.java:1193)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNo                             de.java:1201)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:13                             23)

12/07/04 23:53:54 INFO datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at halgarci-WS/10.21.144.26
************************************************************/

关于如何解决此错误的任何建议？

谢谢!!

Answer 1

不确定您是否已解决问题。Hadoop 使用的 'du' 命令是 windows/system32/内置命令，而不是 cygwin/bin/du.exe。我刚刚删除了 Windows builtid du.exe，并让 haddop 使用 cygwin 的，然后一切正常。