sorting - 在 Hadoop(单节点集群)上运行排序示例

Question

我已经安装了Hadoop single-node cluster 0.20.2 在 Ubuntu 10.04 并使用我在此站点上找到的教程 Material 运行示例:

http://www.dscripts.net/wiki/setup-hadoop-ubuntu-single-node

现在我正在尝试运行 Sort example在 Hadoop 上。它需要顺序文件作为输入。有人可以请help我 running the Sort example ? (或者给我一些关于如何生成顺序文件作为输入的更多信息)。

先感谢您.. ;-)

Answer 1

Running Sort Benchmark

要将排序示例用作基准，请使用 RandomWriter 生成 10GB/节点的随机数据。然后使用排序示例对数据进行排序。这提供了一个排序基准，可以根据集群的大小进行扩展。默认情况下，排序示例使用 1.0 * 容量作为减少的数量，根据您的集群，您可能会在 1.75 * 容量时看到更好的结果。

命令是:

$> bin/hadoop jar hadoop-*-examples.jar randomwriter /path/randFiles
$> bin/hadoop jar hadoop-*-examples.jar sort /path/randFiles /path/resultFile

第一个命令将在 rand 目录中生成未排序的数据。第二个命令将读取该数据，对其进行排序，然后写入 rand-sort 目录。