hadoop - 具有附加列的 Hive UDTF

Question

我希望这个问题的答案是“否”，但无论如何……

我有一个包含键和数组的表。典型的行可能如下所示:

98c28560-4b48-11e3-9c12-07373d47725c segment-a,segment-b,segment-c

我希望这一行产生三行:

98c28560-4b48-11e3-9c12-07373d47725c segment-a
98c28560-4b48-11e3-9c12-07373d47725c segment-b
98c28560-4b48-11e3-9c12-07373d47725c segment-c

使用最新版本的 Hive 中可用的标准 UDF。

有没有办法做到这一点？

Answer 1

您可以合并 lateral view与 explode .
例如:
给定一个包含列 guid (string) 和 segs (array )

的表 test

select * from test
99999999-4b48-11e3-9c12-07373d47725c    ["segment-a1","segment-b1","segment-c1"]
98c28560-4b48-11e3-9c12-07373d47725c    ["segment-a2","segment-b2","segment-c2"]

select guid, seg from test lateral view explode(segs) x as seg;

99999999-4b48-11e3-9c12-07373d47725c    segment-a1
99999999-4b48-11e3-9c12-07373d47725c    segment-b1
99999999-4b48-11e3-9c12-07373d47725c    segment-c1
98c28560-4b48-11e3-9c12-07373d47725c    segment-a2
98c28560-4b48-11e3-9c12-07373d47725c    segment-b2
98c28560-4b48-11e3-9c12-07373d47725c    segment-c2

注意:
hive 0.12