performance - 养 pig 性能测量

Question

我写了一个Pig脚本，想在Hadoop集群上执行它。如何计算总处理时间？是否有任何命令可以使我从头到尾获得处理时间？

Answer 1

编辑:添加了time替代。

要知道需要多长时间(以秒为单位):

time pig <options>

另一种方法是:

d1=$(date +%s)
pig <options>
d2=$(date +%s)
echo "$d2 - $d1" | bc

或者，在一行中:

d1=$(date +%s) ; pig <options> ; d2=$(date +%s) ; echo "$d2 - $d1" | bc

您也可以只看一下pig的输出。在命令行中运行Pig脚本时，在输出结尾处，您将看到:

HadoopVersion   PigVersion  UserId  StartedAt   FinishedAt  Features
...

然后，您可以减去 FinishedAt - StartedAt。