hadoop - 我如何在 Hadoop 中获取计数器

Question

为了 MultipleOutputFormat，我使用 0.20.2 版本，
并希望在作业完成后提取计数器。

我试图用谷歌搜索一些有用且实用的示例，但我找不到。
任何人都可以展示一个简单的例子吗？

Answer 1

如果您是这样提交工作的:

  Configuration conf = new Configuration();
  Job job = new Job(conf);

  job.waitForCompletion(true);

它已经完成(即使它正在运行，你也可以调用它，但结果不会是最终的，因为工作还没有完成。)，你可以使用以下方式获取计数器:

long counter = job.getCounters().findCounter(ExplorationReducer.UpdateCounter.UPDATED)
    .getValue();

这是我在工作中使用的枚举计数器的名称:

ExplorationReducer.UpdateCounter.UPDATED

如果您想要所有计数器，您必须遍历 Counters 对象后面的支持结构。它有一个迭代器。