hadoop - 将 PIg 的 MultiStorage 用于嵌套结构

Question

假设我有以下记录集(存储为 Parquet ):

01, John, 250
01, John, 260
01, Daniel, 300
01, Daniel, 400
02, John, 250
02, John, 260
02, Daniel, 300
02, Daniel, 400

如何使用 Pig 来创建这种嵌套的文件夹结构

-- 01
-- * Daniel
-- * John 
-- 02
-- * Daniel 
-- * John

我知道我可以用

MultiStorage('output/pig_results', '0', 'none', ',');

按第一列动态拆分数据，但如何按两列动态拆分数据？此外，当我使用 MultiStorage 时，输出为 csv，我想保存我的 Parquet 存储

Answer 1

您可以创建一个由前两列分区的 Hive 表，并使用您的 pig 脚本插入您的数据，您将以这种方式获得目录:

-- a=01/
----- b=Daniel/
----- b=John/
-- a=02/
----- b=Daniel/ 
----- b=John/

请注意，以上都是目录，文件可能驻留在 b=Daniel 或 b=John 中。