hadoop - 如何计算 Hive 中两个数组的交集和并集？

Question

例如路口

select intersect(array("A","B"), array("B","C"))

应该返回

["B"]

和工会

 select union(array("A","B"), array("B","C"))

应该返回

["A","B","C"]

在 Hive 中实现此功能的最佳方法是什么？我已经检查了配置单元文档，但找不到任何相关信息来执行此操作。

Answer 1

您的问题解决方案就在这里。转到 githubLink ，有很多 udf 是由 klout 创建的。下载、创建 JAR 并将 JAR 添加到配置单元中。示例

 CREATE TEMPORARY FUNCTION combine AS 'brickhouse.udf.collect.CombineUDF';
 CREATE TEMPORARY FUNCTION combine_unique AS 'brickhouse.udf.collect.CombineUniqueUDAF';

select combine_unique(combine(array('a','b','c'), array('b','c','d'))) from reqtable;

OK
["d","b","c","a"]