hadoop - Hive collect_list() 不收集 NULL 值

Question

我正在尝试收集包含 NULL 的列以及该列中的一些值...但是 collect_list 忽略了 NULL并仅收集其中具有值(value)的那些。有没有一种方法可以检索 NULL 以及其他值？

SELECT col1, col2, collect_list(col3) as col3
FROM (SELECT * FROM table_1 ORDER BY col1, col2, col3)
GROUP BY col1, col2;

实际的 col3 值

0.9
NULL
NULL
0.7
0.6 

结果 col3 值

[0.9, 0.7, 0.6]

我希望在应用 collect_list 之后有一个看起来像这样的配置单元解决方案 [0.9, NULL, NULL, 0.7, 0.6]。

Answer 1

此函数的工作原理如下，但我发现了以下解决方法。将 case when 语句添加到您的查询以检查并保留 NULL。

SELECT col1, 
    col2, 
    collect_list(CASE WHEN col3 IS NULL THEN 'NULL' ELSE col3 END) as col3
FROM (SELECT * FROM table_1 ORDER BY col1, col2, col3)
GROUP BY col1, col2

现在，因为您有一个字符串元素 ('NULL')，所以整个结果集是一个字符串数组。最后只需将字符串数组转换为 double 值数组。