sql - 如何在pyspark中将数据分成几组

Question

我需要在时间序列数据中找到组。

数据样本

我需要根据value和day输出列group。

我尝试过使用滞后、领先和行号，但结果一无所获。

Answer 1

似乎您想在每次值更改时递增该组。如果是这样，这就是一种间隙和孤岛问题。

这是一种使用 lag() 和累积 sum() 的方法:

select
    value,
    day,
    sum(case when value = lag_value then 0 else 1 end) over(order by day) grp
from (
    select t.*, lag(value) over(order by day) lag_value
    from mytable t
) t