sorting - Hadoop 在单节点集群上运行排序示例

Question

我正在尝试在 Hadoop 单节点集群上运行排序示例。首先，我启动守护进程:

hadoop@ubuntu:/home/user/hadoop$ bin/start-all.sh

然后我运行随机编写器示例以生成顺序文件作为输入文件。

hadoop@ubuntu:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar randomwriter rand

hadoop@ubuntu:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar randomwriter rand

正在运行 0 个 map 。

Job started: Thu Mar 31 18:21:51 EEST 2011 
11/03/31 18:21:52 INFO mapred.JobClient: Running job: job_201103311816_0001 
11/03/31 18:21:53 INFO mapred.JobClient:  map 0% reduce 0% 
11/03/31 18:22:01 INFO mapred.JobClient: Job complete: job_201103311816_0001 
11/03/31 18:22:01 INFO mapred.JobClient: Counters: 0 
Job ended: Thu Mar 31 18:22:01 EEST 2011 

这项工作耗时 9 秒。

hadoop@ubuntu:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar sort rand rand-sort

在1个节点上运行从hdfs://localhost:54310/user/hadoop/rand排序到

hdfs://localhost:54310/user/hadoop/rand-sort 减少 1。

Job started: Thu Mar 31 18:25:19 EEST 2011 
11/03/31 18:25:20 INFO mapred.FileInputFormat: Total input paths to process : 0 
11/03/31 18:25:20 INFO mapred.JobClient: Running job: job_201103311816_0002 
11/03/31 18:25:21 INFO mapred.JobClient:  map 0% reduce 0% 
11/03/31 18:25:32 INFO mapred.JobClient:  map 0% reduce 100% 
11/03/31 18:25:34 INFO mapred.JobClient: Job complete: job_201103311816_0002 
11/03/31 18:25:34 INFO mapred.JobClient: Counters: 9 
11/03/31 18:25:34 INFO mapred.JobClient:   Job Counters 
11/03/31 18:25:34 INFO mapred.JobClient:     Launched reduce tasks=1 
11/03/31 18:25:34 INFO mapred.JobClient:   FileSystemCounters 
11/03/31 18:25:34 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=96 
11/03/31 18:25:34 INFO mapred.JobClient:   Map-Reduce Framework 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce input groups=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Combine output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce shuffle bytes=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Spilled Records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Combine input records=0 
11/03/31 18:25:34 INFO mapred.JobClient:     Reduce input records=0 
Job ended: Thu Mar 31 18:25:34 EEST 2011 

这项工作耗时 14 秒。

hadoop@ubuntu:/home/user/hadoop$ bin/hadoop dfs -cat rand-sort/part-00000

SEQ#"org.apache.hadoop.io.BytesWritable"org.apache.hadoop.io.BytesWritablej"�mY�&�٩�#

我是 Hadoop 新手。我所做的一切都是正确的，还是我做错了什么？我的问题是，我如何才能看到 randomwritewr 生成的数据和排序示例的结果是正确的？从哪里可以看到它们？

Answer 1

问题是您的 tasktracker 没有在您尝试运行作业时启动，它不会立即启动。您可以运行 bin/hadoop job -list-active-trackers 来查看 tasktracker 是否启动，可能需要一些时间才能完成。没有 tasktracker = 没有要将编写器映射到的节点。