hadoop - 瘤胃和定制柜台

Question

我正在使用 Rumen 将工作历史记录中的信息提取为 .json 格式。这适用于默认计数器和参数。但是，我看不到添加到映射器的自定义计数器。

我设法通过基于 Web 的历史界面查看了这些自定义计数器，但它们没有出现在 Rumen 生成的 .json 文件中。

关于如何使用 Rumen 从作业历史记录中提取所有(默认 + 自定义)计数器有什么想法吗？

谢谢。

Answer 1

我不是 100% 确定，但从 source code 来看，目前没有访问自定义计数器的内置方法。

类似 LoggedTask 的类或 LoggedTaskAttempt仅公开标准计数器。然而，自定义计数器似乎被捕获并存储在 ParsedTask 中。或 ParsedTaskAttempt .正如他们的 javadoc 所述:

This is a wrapper class around LoggedTask (LoggedTaskAttempt). This provides also the extra information about the task (task attempt) obtained from job history which is not written to the JSON trace file.

看起来，您必须扩展 Rumen 才能自己捕获自定义计数器。