hadoop - 使用 Piglatin 加载文本文件时跳过标题

Question

我有一个文本文件，它的第一行包含标题。现在我想对数据做一些操作，但是在使用 PigStorage 加载文件时它也需要 HEADER。我只想跳过标题。是否可以这样做(直接或通过 UDF)？

这是我用来加载数据的命令:

input_file = load '/home/hadoop/smdb_tracedata.csv'
USING PigStorage(',')
as (trans:chararray, carrier:chararray,aainday:chararray);

Answer 1

通常我解决这个问题的方法是对标题中我知道的内容使用 FILTER。例如，考虑以下数据示例:

STATE,NAME
MD,Bob
VA,Larry

我会做:

B = FILTER A BY state != 'STATE';