java - 测试 Hadoop 是否正常工作

Question

我现在如何测试我的 hadoop 安装？我找不到 adoop-examples-1.1.2.jar。有没有其他方法可以测试 Hadoop 和 Mahout 是否正常工作？

提前致谢。

Answer 1

您可以运行 mapreduce hello world 作业。请注意，您的路径可能略有不同:

1. HADOOP_HOME 是安装 hadoop 的目录。
2. 存在于<HADOOP_HOME>/input/file01 中的示例性测试输入文件
3. 在您的 hdfs 中准备目录结构:
   • <HADOOP_HOME>/bin/hdfs dfs -mkdir /wordcount
   • <HADOOP_HOME>/bin/hdfs dfs -mkdir /wordcount/input
   • <HADOOP_HOME>/bin/hdfs dfs -mkdir /wordcount/output
4. 放file01文件到hdfs:
   • <HADOOP_HOME>/bin/hdfs dfs -put <HADOOP_HOME>/input/file01 /wordcount/input
5. 转到包含示例 jar 的目录:
   • cd <HADOOP_HOME>/share/hadoop/mapreduce/lib-examples (在我的例子中，jar 的名称为 hadoop-mapreduce-examples-2.3.0.jar)
6. 解雇 map 作业<HADOOP_HOME>/bin/hadoop jar ./hadoop-mapreduce-examples-2.3.0.jar wordcount /wordcount/input/file01 /wordcount/output/file01-output

作业应该成功完成，您应该会看到来自 file01 的字词计数并存储在/wordcount/output/file01-output 目录中

<HADOOP_HOME>/bin/hdfs -cat /wordcount/output/file01-output/part-r-00000