python - 如何组合 hadoop 映射器输出以获得单一结果

Question

我有大约 170 GB 的数据。我必须使用 hadoop 2.7.3 对其进行分析。有 worker 14人。我必须找到每个文档的唯一 MIME 类型总数，例如文本/html 类型的文档总数。当我运行 mapreduce 作业(用 python 编写)时，Hadoop 返回许多输出文件，而不是我期望的单个文件。我认为这是由于许多 worker 分别处理一些数据并提供输出。我想获得单一输出。问题出在哪里。我如何限制 hadoop 提供单一输出(通过组合所有小输出文件)。

Answer 1

当您从 hdfs 检索数据时，您可以使用 hadoop getmerge 命令合并最终文件:

hadoop fs -getmerge /output/reduce/ /localcatalog/mergedresult.txt

每个映射器和缩减器将生成一个单独的文件，通过减少映射器和缩减器的数量，您将降低作业的并行度。我认为与其将 reducer 限制为单一输出，不如使用提供的命令从 hdfs 获取合并结果。