hadoop - PIG 拉丁语 : While loading how to discard the first line in any file?

Question

我从一段时间以来一直在使用 PIG，想知道如何在加载文件时不考虑第一行。我有一个包含标题的文件。所以我应该忽略第一行并转到下一行对日期列和所有列进行处理。如何解决这个问题？

谢谢

Answer 1

如果你有 pig 版本 0.11，你可以试试这个:

input_file = load 'input' USING PigStorage(',') as (row1:chararay, row2:chararray);

ranked = rank input_file;

NoHeader = Filter ranked by (rank_input_file > 1);

New_input_file = foreach NoHeader generate row1, row2;

New_input_file 应该包含没有标题的数据。请注意，rank 运算符是 pig 0.11 的新功能，因此它不适用于早期版本。

编辑:请注意，此解决方案仅适用于单个文件，如果您要加载目录，请尝试其他方法。