windows-7 - 通过 Cygwin 在 Windows 上配置 Hadoop

Question

我正在尝试在我的 Windows 7 机器上配置 Hadoop。我能够启动名称节点和其他服务，但是当我运行 Hadoop 包(版本 1.0.3)附带的示例时，出现以下错误:

bin/hadoop: line 320 : C:\Program: Command not found. 

我使用以下命令运行示例:

bin/hadoop jar hadoop-examples-1.0.3.jar pi 10

我打开这个 hadoop 文件，其中出现错误，发现在第 320 行正在生成路径:

JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m ${HADOOP_JAVA_PLATFORM_OPTS} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`

所以我觉得问题可能出在这个 JAVA 变量中，因为 Cygwin 使用不同的路径名约定。有没有人也遇到过这个问题或知道是什么导致了这个问题？

Answer 1

快速总结:

• (path)/bin/hadoop 下的hadoop bash 脚本实际上有一个bug。该脚本假定 hadoop 需要的所有文件/路径中都没有空格。好吧，对于任何 Windows，它们都会在某个地方有一个空间，因为“Program Files”中有一个空间。

详情

这是一个棘手的问题...我遇到了同样的问题，我花了一段时间才解决。

首先，问题是:当文件路径/名称中涉及空格时，通过脚本设置环境变量可能会变得粗略(目前在非 *nix 系统中经常发生这种情况)。

接下来，您可能需要解决两个地方的问题:

1. 在您的 (path)/conf/hadoop-env.sh 脚本中，您应该设置 JAVA_HOME 脚本，它应该类似于:

   export JAVA_HOME=/cygdrive/c/"Program Files"/Java/jdk1.7.0_06
   

   (请注意，“Program Files”周围有引号，因此它被识别为单个元素。您不能使用 \ 转义字符，因为 cygwin 会进行一些从 Windows 到 UNIX 的欺骗路径，因此 \ 不能充当转义符。

2. 在您的 (path)/bin/hadoop 脚本中，第 320 行可能是这样写的:

   JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m ${HADOOP_JAVA_PLATFORM_OPTS} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`
   

   您需要将其更改为:

   JAVA_PLATFORM=`CLASSPATH="${CLASSPATH}" "${JAVA}" -Xmx32m ${HADOOP_JAVA_PLATFORM_OPTS} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`
   

   请注意，我在环境变量 ${CLASSPATH} 和 ${JAVA} 周围添加了引号。通过将引号括起来，您表示“此变量指定的整个字符集应被视为一个字符串对象”。

---

好的，现在如果您想了解为什么会发生这种情况以及发生了什么，问题是您的 JDK 可能存储在“Program Files”下，或者可能存储在“Program Files (x86)”下，两者都有路径中的空格。 Hadoop 需要的所有其他环境变量都不依赖于“程序文件”路径中的任何内容。所以这就是为什么您只看到一个错误被标记的原因。所有其他缺少引号的环境变量中都没有空格。