hadoop - 在特定列上选择不同但也在配置单元中选择其他列

Question

我在配置单元的表中有多个列，大约有 80 列。我需要在某些列上应用 distinct 子句，并从其他列中获取第一个值。以下是我要实现的目标的表示。

select distinct(col1,col2,col3),col5,col6,col7
from abc where col1 = 'something';

上面提到的所有列都是文本列。所以我不能应用分组依据和聚合函数。

Answer 1

可以使用row_number函数来解决问题。

create table temp as
select *, row_number() over (partition by col1,col2,col3) as rn
from abc 
where col1 = 'something';

select *
from temp
where rn=1

您还可以在分区时对表进行排序。

row_number() over (partition by col1,col2,col3 order by col4 asc) as rn