hadoop - CSVExcelStorage 不跳过带 pig 的 header

Question

我试图在将 CSV 文件加载到 Pig 时跳过它的标题。

REGISTER /usr/hdp/2.3.4.0-3485/pig/lib/piggybank.jar;
define CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage; 

transactions = load 'hdfs://vm1.local:8020/user/root/transcations/trans.csv' USING CSVExcelStorage(',','NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER')

但是当我转储 transactions 时，我也得到了 header 。我使用 Apache Pig 0.15谢谢。

Answer 1

解决上述问题的方法是--> 定义 CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage(',', 'NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER');.--> transactions = load 'hdfs://vm1.local:8020/user/root/transcations/trans.csv' 使用 CSVExcelStorage();

我发现定义 UDF 别名的传统方法在这种情况下不起作用。