java - 计算最终 map 中的总行数会减少hadoop中的输出

Question

目前，我的num reduce任务设置为job.setNumReduceTasks(100);
所以我的最终输出目录在S3中，如下所示

/output/part-r-00000.gz
/output/part-r-00001.gz
... etc

为了计算所有行，我必须手动下载并解压缩所有文件，并逐个查看每个文件以计算总行数。

在hadoop上下文中某处是否有一个总线度量存储？

Answer 1

Map Reduce应用程序日志存储用于map和reduce任务的计数器。对于所有reducer，如果您查看作业日志(准确地说是计数器)，则类似“reduce output records”之类的信息将为您提供所需的信息。但是，这是HDP平台，其中RM UI在作业计数器部分具有所有信息。