hadoop - 在作业和任务级别如何在Hadoop中处理输出文件？

Question

按照权威指南的规定，OutPutCommitter的setUpJob()将创建mapreduce输出目录，并为任务设置临时工作区。 mapred.output.dir / _temporary

然后这本书说写任务输出时会在任务级别创建临时目录。

上面的两个陈述有点令人困惑。

Answer 1

因此，基本上， map 归约工作包含许多任务，即 map task 和归约任务。现在，mapreduce输出目录是写入map-reduce作业的最终输出的目录。现在，当map reduce作业运行时，每个map任务和reduce任务都会生成中间文件，该文件位于任务运行所在节点的本地。中间的每个任务的本地输出将写入临时工作区。最终，经过改组和其他阶段后，根据您申请map-reduce作业的逻辑，此中间输出最终将作为最终输出写入hdfs。我希望能回答您的问题