python-3.x - 季度迄今增长

Question

我在 df 中有一些每日数据，最早可以追溯到 2020 年 1 月 1 日。它看起来与下面类似，但有很多 id1 s 在每一天。

| yyyy_mm_dd | id1 | id2  | cost  |
|------------|-----|------|-------|
| 2020-01-01 | 23  | 7253 | 5003  |
| 2020-01-01 | 23  | 7743 | 30340 |
| 2020-01-02 | 23  | 7253 | 450   |
| 2020-01-02 | 23  | 7743 | 4500  |
| ...        | ... | ...  | ...   |
| 2021-01-01 | 23  | 7253 | 5675  |
| 2021-01-01 | 23  | 134  | 1030  |
| 2021-01-01 | 23  | 3445 | 564   |
| 2021-01-01 | 23  | 4534 | 345   |
| ...        | ... | ...  | ...   |

我已经对总成本进行了分组和计算，如下所示:

grouped_quarterly = (
    df
    .withColumn('year_quarter', (F.year(F.col('yyyy_mm_dd')) * 100 + F.quarter(F.col('yyyy_mm_dd'))
    .groupby('id1', 'year_quarter')
    .agg(
        F.sum('cost').alias('cost')
    )
)

然后我能够成功地进行季度比较，如下所示:

w = Window.partitionBy(F.col('id1'), F.expr('substring(string(year_quarter), -2)')).orderBy('year_quarter')
growth = (
    grouped_quarterly
    .withColumn('prev_value', F.lag(F.col('cost')).over(w))
    .withColumn('diff', F.when(F.isnull(F.col('cost') - F.col('prev_value')), 0).otherwise(F.col('cost') - F.col('prev_value')))
).where(F.col('year_quarter') >= 202101)

我想将其修改为季度至今而不是季度。例如，上面将比较 2020 年 4 月 1 日 - 2020 年 6 月 30 日与 2020 年 4 月 1 日 - 2021 年 4 月 15 日(或 df 中的任何最大日期)。
相反，我更愿意将 2020 年 4 月 1 日 - 2020 年 4 月 15 日与 2021 年 4 月 1 日 - 2021 年 4 月 15 日进行比较。
是否可以确保在 year_quarter 内仅比较相同的期间？
编辑:添加示例输出:

grouped_quarterly.where(F.col('id1') == 222).sort('year_quarter').show(10,False)

| id1 | year_quarter | cost  |
|-----|--------------|-------|
| 222 | 202001       | 49428 |
| 222 | 202002       | 43292 |
| 222 | 202003       | 73928 |
| 222 | 202004       | 12028 |
| 222 | 202101       | 19382 |
| 222 | 202102       | 4282  |

growth.where(F.col('id1') == 222).sort('year_quarter').show(10,False)

| id1 | year_quarter | cost  | prev_value | diff   | growth |
|-----|--------------|-------|------------|--------|--------|
| 222 | 202101       | 52494 | 49428      | 3066   | 6.20   |
| 222 | 202102       | 4282  | 43292      | -39010 | -90.10 |

窗口中的增长计算正在正确完成。但是，由于 202102 正在进行中，因此将它与完整的 202002 进行比较。 202101 的比较非常有效，因为这两个 year_quarters 都已完成。
无论如何，对于不完整的季度，是否可以确保窗口函数仅将 year_quarter 内的同期与上一年进行比较？我希望样本数据能让我的问题更清楚一点

Answer 1

如果您想按季度比较YoY 但季度不完整，则通过dayofmonth(col("input")).alias("dayofmonth") 进行聚合。如果当前季度被比较等于当前年份的当前月份可能与 .agg(when(col("date_column") condition exp))更多见解 here