hadoop - 将目录的Map输出合并到一个文件

Question

我有一个要求，我必须将目录的映射器的输出合并到单个文件中。可以说我有一个包含3个文件的目录A。

../A/1.txt
../A/2.txt
../A/3.txt

我需要运行一个映射器来处理这些文件，它们会生成一个输出文件。 我知道缩减器会这样做，但我不想使用缩减器逻辑。

                                 OR

我可以只有一个映射器来处理目录下的所有文件。

Answer 1

如果设置了 fuse 以将HDFS挂载到本地目录，则输出可以是挂载的文件系统。

例如，我将HDFS本地安装到了 / mnt / hdfs 。我运行以下命令，效果很好:

hadoop fs -getmerge / reports / some_output /mnt/hdfs/reports/some_output.txt

当然，还有其他原因使用 fuse 将HDFS挂载到本地目录，但这对我们来说是一个很好的副作用