java - 如何运行 HDFS 测试类？

Question

我想使用 hadoop-hdfs-2.9.2-tests.jar 运行单元测试hadoop-2.9.2/share/hadoop/hdfs。

1.运行以下命令不起作用:

(yarn jar hadoop-2.9.2/share/hadoop/hdfs/hadoop-hdfs-2.9.2-tests.jar
TestWriteRead)

错误信息说没有主类名。

2.我还尝试手动编译 wordcount 类，但失败了。

- javac -classpath ${HADOOP_CLASSPATH} -d
'hdfs-test/TestWriteRead-cp/'
'/home/hduser/hdfs-test/TestWriteRead.java'
- jar -cvf TestRW.jar -c TestWriteRead-cp .

但是没有成功。

如何运行 hdfs-tests.jar？

谢谢

Answer 1

您可以在此处查看 Hadoop 2.9.2 的依赖关系如果您想运行相同的示例，您可以使用:

# su - hdfs
$ cd /opt/yarn/hadoop-2.9.2/bin
$ export YARN_EXAMPLES=/opt/yarn/hadoop-2.9.2/share/hadoop/mapreduce
$ ./yarn jar $YARN_EXAMPLES/hadoop-mapreduce-examples-2.9.2.jar pi 16 1000

有一个很大的示例列表可以运行，其中包括 wordcount，这是一个计算输入文件中单词数的映射/归约程序。您可以列出它:

yarn jar $YARN_EXAMPLES/hadoop-mapreduce-examples.jar

如果路径不同，只需运行:

 $ find / -name "hadoop-mapreduce-examples*.jar" -print