hadoop - 如何在Hadoop内部将许多文件连接成一个文件，而没有映射或缩减

Question

由于各种奇怪的原因，我试图将多个输入目录中的多个文件合并为一个文件。我最初的尝试是编写一个“nul”映射器和化简器，将输入复制到输出中，但是失败了。我最近的尝试是:

vcm_hadoop莱斯特 jar /vcm/home/apps/hadoop/contrib/streaming/hadoop-*-streaming.jar -input / cruncher / 201004/08/17/00 -output / lcuffcat9 -mapper / bin / cat -reducer NONE

但是无论如何我最终都会得到多个输出文件。有人知道我如何将所有内容都哄骗到一个输出文件中吗？

Answer 1

保留cat映射器，并使用单个cat reducer。确保将 reducer 的数量设置为一个。输出也将通过分类器。

您需要使用 reducer ，因为您只能建议映射器的数量。

如果您不希望对输出进行排序，则可以让您的映射器将文件名作为输入，从该文件中读取，然后将文件名和行号作为键输出，并将文件中的一行作为值输出，并让reducer抛出离开键并输出值。