hadoop - hadoop测试示例以验证安装

Question

使用本教程，我已经在Ubuntu Hadoop 2.4上成功配置了14.04。

http://dogdogfish.com/2014/04/26/installing-hadoop-2-4-on-ubuntu-14-04/

现在，完成安装后，我如何对其进行测试？

如何以及在哪里可以获取测试数据或jar文件？

Answer 1

您在hadoop的安装目录中有一些jar实例。

您可以做的最简单的事情是运行Teragen示例(或wordcount)。
这是执行terasort的第一步。

脚步:

转到hadoop安装目录。

运行“hadoop jar hadoop-examples-0.20.2-cdh3u0.jar”以查看可以运行的所有jar。

转到主目录/ [用户]目录，并使用以下数据创建文件“example.txt”
“这是一个用于测试Hadoop安装示例的文件
为了实验起见，将其视为1TB”

在该目录中时，运行“hadoop dfs -put examples.txt /”，这会将文件上传到HDFS上

运行“hadoop dfs -ls /”以检查它是否在其中

转到Hadoop安装目录并运行“hadoop jar hadoop-examples-0.20.2-cdh3u0.jar teragen 1000 / user / teragendata”-1000是要分解的大小数据，另一个param是输出目录。

成功执行后，您将在底部看到类似文本的内容。

现在要查看MR作业的运行方式，请在浏览器中打开JobTracker并查看已完成的作业。 “localhost50030 / jobtracker.jsp”

cloudera @ cloudera-vm:/ usr / lib / hadoop $ hadoop jar hadoop-examples-0.20.2-cdh3u0.jar teragen 600 / user / teragendata

使用2个 map 以300的步数生成600

14/07/24 09:02:44 INFO mapred.JobClient:正在运行的作业:job_201407230030_0008

14/07/24 09:02:45 INFO mapred.JobClient: map 0％减少0％

14/07/24 09:02:57 INFO mapred.JobClient: map 100％减少0％

14/07/24 09:03:00 INFO mapred.JobClient:工作完成:job_201407230030_0008

14/07/24 09:03:00 INFO mapred.JobClient:计数器:13

14/07/24 09:03:00 INFO mapred.JobClient:作业计数器

14/07/24 09:03:00 INFO映射。JobClient:SLOTS_MILLIS_MAPS = 22008

14/07/24 09:03:00 INFO mapred.JobClient:保留时隙(ms)= 0后，所有人花费的总时间减少了等待时间

14/07/24 09:03:00 INFO mapred.JobClient:保留时段(ms)= 0后，所有 map 等待的总时间

14/07/24 09:03:00 INFO mapred.JobClient:已启动 map task = 2

14/07/24 09:03:00 INFO映射。JobClient:SLOTS_MILLIS_REDUCES = 0

14/07/24 09:03:00 INFO mapred.JobClient:FileSystemCounters

14/07/24 09:03:00 INFO映射。JobClient:HDFS_BYTES_READ = 164

14/07/24 09:03:00 INFO映射。JobClient:FILE_BYTES_WRITTEN = 105150

14/07/24 09:03:00 INFO映射。JobClient:HDFS_BYTES_WRITTEN = 60000

14/07/24 09:03:00 INFO mapred.JobClient:Map-Reduce框架

14/07/24 09:03:00 INFO mapred.JobClient: map 输入记录= 600

14/07/24 09:03:00 INFO mapred.JobClient:Spilled Records = 0

14/07/24 09:03:00 INFO mapred.JobClient:映射输入字节= 600

14/07/24 09:03:00 INFO mapred.JobClient: map 输出记录= 600

14/07/24 09:03:00 INFO映射。JobClient:SPLIT_RAW_BYTES = 164