java - 运行 Hadoop Pi 示例

Question

我需要一些帮助在 Windows 中运行 Hadoop Pi 示例。我已经在 Windows 上成功地设置了 Hadoop，并且可以看到所有的 NameNode、SecondaryNameNode、JobTracker 和 TaskTracker 都在运行。我也可以点击网址:

http://localhost:50070/, http://localhost:50030 and http://localhost:50090/.

但是，当我尝试运行内置的 Pi 示例时，出现以下异常。

$ hadoop jar hadoop/hadoop-examples-1.2.1.jar pi 4 100
Not a valid JAR: C:\cygwin\home\chandeln\hadoop\hadoop-examples-1.2.1.jar

我还在我的路径中同时设置了 hadoop 和 java。

$ java -version
java version "1.7.0_40"
Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode)

$ hadoop version
Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:23:09 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /C:/cygwin/usr/local/hadoop/hadoop-core-1.2.1.jar

我的 .bashrc 看起来像这样:

export JAVA_HOME=/cygdrive/c/Java/jdk1.7.0_40
export HADOOP_PREFIX=/cygdrive/c/usr/local/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin

任何人都可以阐明这一点吗？

Answer 1

尽管 Hadoop 是用 Java 编写的，但它在 Windows 上的表现并不好。如果您真的想在尽可能短的时间内启动并运行 Hadoop，我建议您使用 Linux。您可以免费下载 VMWare Player应用程序，并将其安装在 Windows 上。然后，在Ubuntu上下载最新版本，并使用 VMWare Player 将其安装为虚拟机。然后你可以使用你的 Ubuntu 虚拟机来 install a single node cluster of Hadoop .

如果这看起来工作量太大，请打开 Amazon AWS帐户，找到pre-configured Hadoop machines一起工作。