load - pig : loading a data file using an external schema file

Question

我有一个数据文件和一个相应的架构文件存储在不同的位置。
我想使用架构文件中的架构加载数据。我尝试使用

A= LOAD '<file path>' USING PigStorage('\u0001') as '<schema-file path>' 

但得到一个错误。

正确加载文件的语法是什么？

架构文件格式类似于:

data1 - complex - - - - format - -
data1 event_type - - - - - long - "ends '\001'"
data1 event_id - - - - - varchar(50) - "ends '\001'"
data1 name_format - - - - - varchar(10) - "ends newline"

Answer 1

可以使用模式文件加载数据。

当您使用 '-schema' 存储数据时标志，在输出路径中，有.pig-schema保存带有架构的 json 的文件。

您可以在加载数据时使用它

B = LOAD '<>' USING PigStorage(',','-schema'); 

您可以通过运行来查看架构

describe A;

查询 this good post更多细节。

此功能从 Pig 0.10 开始可用。