hadoop - 每个映射器执行的任务

Question

我有一个具有多个联接的SQL。

2017-12-28 05:15:53,140 Map 1: 15/15    Map 6: 9/9  Map 7: 29/29    Map 8: 198(+2)/200  Map 9: 1/1  Reducer 2: 1/1  Reducer 3: 0(+1)/1  Reducer 4: 0(+3)/3  Reducer 5: 0(+11)/11

上面是最近几个小时的日志行。如何检查 map 8在做什么以及为什么2个 map 绘制者花了这么长时间

map 8: 198(+2)/200

对每个映射器在tez中的操作的任何想法都将有所帮助。

Answer 1

我建议您查看DAG图形 View /顶点计数器并进行分析。您将了解到为什么顶点要花费这么长时间。