hadoop - 长时间服用 pig 的DUMP

Question

我有一个Pig脚本，我们在其中使用帮助UDF进行一些数据操作。

让我们理解一个例子。

data=someoperation;
olddata = newoperation;
Uniondata = UNION data,olddata;
DUMP Uniondata;

因此，在这里我使用DUMP来确保执行以上所有语句，而不是将数据流传输到控制台。我认为DUMP的执行方式会导致与性能相关的问题。在这里，要确保数据和olddata不会从UDF返回任何内容。我如何确保这些语句在不使用DUMP的情况下执行。

谢谢。

Answer 1

您可以为此使用ILLUSTRATE运算符。

Use the ILLUSTRATE operator to review how data is transformed through a sequence of Pig Latin statements. ILLUSTRATE allows you to test your programs on small datasets and get faster turnaround times.

因此，只需将DUMP替换为ILLUSTRATE。还对数据集进行采样以进行测试。

data=someoperation;
data= SAMPLE data 0.01; --# sample by 1%
olddata = newoperation;
uniondata = UNION data,olddata;
ILLUSTRATE Uniondata;