hadoop - hadoop作业实际处理时间

Question

我的集群当前被一个作业 A 占用，它需要很长时间并且具有 VERY_LOW 优先级。

我昨天开始了另一项工作 B，而 A 已经在运行，我认为它应该运行得相当快。但是，我在job details看到用了47分钟。我认为这不是实际处理时间。我试图找出工作真正开始的时间。我可以在哪里查看？

Answer 1

我似乎找不到任何地方可以准确说明您所追求的内容，但您可以在端口 50030 上的作业跟踪器中查看作业，并查看各个映射器和缩减器的详细信息。在那里，您可以看到每个单独的映射器和缩减器从开始时间到结束时间完成任务所花费的时间。

如果在您开始第二份工作时没有任何映射器或缩减器可用，那么第二份工作将无法取得任何进展，直到第一份工作释放它们，这可以解释为什么它声称要花这么长时间，因为它们可能实际上并没有同时运行。作业开始的时间和第一个实际映射器启动的时间应该让您知道它是否只是在等待资源，这意味着您可以从总 47 分钟中减去作业和映射器启动时间之间的时间段。