python - PySpark 中日期时间的舍入时间

Question

我正在尝试使用 pyspark 和 udf 计算时间。

该函数在 python 中正常工作，但在使用 pyspark 时效果不佳。

输入是:

date = Timestamp('2016-11-18 01:45:55') # 类型是 pandas._libs.tslibs.timestamps.Timestamp

def time_feature_creation_spark(date):
    return date.round("H").hour

time_feature_creation_udf = udf(lambda x : time_feature_creation_spark(x), IntegerType())

然后我在提供 spark 的函数中使用它:

data = data.withColumn("hour", time_feature_creation_udf(data["date"])

错误是:

TypeError: 'Column' object is not callable

预期的输出只是距离日期时间中的时间最近的小时(例如 20h45 最接近 21h，因此返回 21)

Answer 1

比 /3600*3600 更好的版本是使用内置函数 date_trunc

import pyspark.sql.functions as F
return df.withColumn("hourly_timestamp", F.date_trunc("hour", df.timestamp))

除了小时之外的其他格式是

year’, ‘yyyy’, ‘yy’, ‘month’, ‘mon’, ‘mm’, ‘day’, ‘dd’, ‘hour’, ‘minute’, ‘second’, ‘week’, ‘quarter’