hadoop - 如何获取 Reducer 中 Mappers 输出的记录数

Question

我需要知道 Mappers 在 Reducer 中输出的记录数。只有一个 Reducer，所以我想这可以简化事情。

我的第一个想法是在 mappers 中增加一个计数器并在 reducer 中获取它，后来我发现这样的计数器已经存在，但它似乎“不应该”从 reducer 中读取，而只能从驱动程序中读取.

我应该使用计数器以及如何正确使用，还是有其他方法？

Answer 1

是的，您可以利用一些固有的计数器，这些计数器甚至会在 MR 作业结束时被丢弃。在 https://martin.atlassian.net/wiki/x/SYBmAQ 上搜索“ map 输出记录”查看读取记录总数的示例。

您还可以创建自己的计数器，如 https://github.com/lestermartin/hadoop-exploration/blob/master/src/main/java/lestermartin/hadoop/exploration/wordcount/WordSizeMapper.java 中的“WordsByLength”所示.