hadoop - 运行 hadoop 作业

Question

这是我第一次在 hadoop 上运行作业并从 WordCount 示例开始。为了运行我的工作，我'，使用这个命令

hduser@ubuntu:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-output

我认为我们应该复制/usr/local/hadoop 中的 jar 文件。我的第一个问题是 hadoop*examples* 是什么意思？如果我们想将我们的 jar 文件放在另一个位置，例如/home/user/WordCountJar，我应该怎么做？提前感谢您的帮助。

Answer 1

I think we should copy the jar file in /usr/local/hadoop

这不是强制性的。但是，如果您的 jar 位于其他位置，则需要在运行作业时指定完整路径。

My first question is that what is the meaning of hadoop*examples*?

hadoop*examples* 是包含您的 MR 作业以及其他依赖项的 jar 包的名称。这里，* 表示它可以是任何版本。不是特别是 0.19.2 或其他。但是，我觉得它应该是 hadoop-examples-*.jar 而不是 hadoop*examples*.jar

and if we want to locate our jar file in another location for example /home/user/WordCountJar, what I should do?

如果您的 jar 存在于您执行命令的目录以外的目录中，则需要指定您的 jar 的完整路径。说，

bin/hadoop jar/home/user/WordCountJar/hadoop-*-examples.jar wordcount/user/hduser/gutenberg/user/hduser/gutenberg-output