hadoop - 了解 Hive MR 输出

Question

当我运行 Hive 语句并启动相应的 MR 作业时，它通常有这样一行:

Stage-Stage-1: Map: 33 Reduce: 131 Cumulative CPU: 8006.47 sec HDFS Read: 1280804751 HDFS Write: 279261996966 SUCCESS

Total MapReduce CPU Time Spent: 0 days 2 hours 13 minutes 26 seconds 470 msec

我对解释该行有一些疑问。

1. 数字 1280804751、279261996966 的单位是什么？字节？ block ？有什么方法可以将它们转换为人类可读的格式？
2. “MapReduce CPU 总花费时间”是什么意思？ “累积 CPU”是什么意思？

Answer 1

1. HDFS Read 和 HDFS Write 值以字节为单位。

2. Cumulative CPU 是该阶段 MapReduce 作业的所有任务的总 CPU 时间。 Total MapReduce CPU Time Spent 是查询所有阶段的总 CPU 时间。在您的示例中，只有一个阶段，因此两个值具有相同的持续时间。