hadoop - 如何调试 pig 脚本

Question

如果在 pig 中针对大量 TB 数据运行简单的脚本分组时，脚本卡在了 70% 左右，那么如何诊断问题？

Answer 1

调试 pig 脚本有几种方法。简单的方法是逐步执行一个关系，然后验证结果。这些命令对于调试 pig 脚本很有用。

DUMP - 使用 DUMP 运算符运行(执行)Pig Latin 语句并将结果显示到屏幕上。

ILLUSTRATE - 使用 ILLUSTRATE 运算符查看数据如何通过一系列 Pig Latin 语句进行转换。 ILLUSTRATE 允许您在小型数据集上测试您的程序并获得更快的周转时间。

EXPLAIN - 使用 EXPLAIN 运算符查看用于计算指定关系的逻辑、物理和 map reduce 执行计划。

DESCRIBE - 使用 DESCRIBE 运算符查看关系的架构。您可以查看外部关系以及嵌套 FOREACH 语句中定义的关系。

有关这些命令的更多详细信息，请参阅此 link .另请引用developing and testing a pig script.了解更多详情。

如果你想在执行期间调试整个脚本，那么你需要在脚本顶部编写以下代码

-- set the debug mode on 
SET debug 'on'
-- set a job name of your job.
SET job.name 'my job'

这将允许您的脚本运行到 Debug模式。有关 SET 命令的模式详细信息，请参阅此 link