python - 填写 PySpark 中前一天缺失的日期

Question

我在以下问题中遇到了同样的问题:

Forward Fill New Row to Account for Missing Dates

不同之处在于，我需要计算两个不同日期之间的小时数差异，例如 2019-12-26 22:00:00 和 2019-12-27 09:00:00 之间以及以下函数特殊情况失败，因为范围变为负数:

def missing_hours(t1, t2):
    return [t1 + relativedelta(hours=-x) for x in range (1, t1.hour-t2.hour)]

missing_hours_udf = udf(missing_hours, ArrayType(TimestampType()))

我尝试以多种方式修改它(例如尝试 (t1-t2).hour)，但总是失败。

有谁知道如何正确修改上述函数以获得所需的结果？

Answer 1

这是更新的函数，用于处理两个日期之间的填充时间

def missing_hours(t1, t2):
    diff = t1 - t2
    days, seconds = diff.days, diff.seconds
    hours = days * 24 + seconds // 3600

    return [t1 + relativedelta(hours=-x) for x in range(1, hours)]