hadoop - Hive 使用收集聚合

Question

我想从配置单元表中删除重复值所以我正在使用这个查询

INSERT INTO TABLE final_table 
 select 
   A,
   B,
   collect(coalesce(C,0))[0],
   collect(coalesce(D,0))[0],
   collect(coalesce(E,0))[0],
   collect(coalesce(F,0))[0],
   collect(coalesce(G,0))[0]
 from 
   temp_table
 group by 
   A,B ;

因为 A,B 是主键。

但结果我仍然得到重复值。查询有问题吗？

Answer 1

尝试使用“collect_set”UDF，或收集到 map 中，然后使用“map_keys”从 map 中获取键。