pyspark - 如何获得2个时间戳之间的时间差

Question

我试过下面的代码，它给了我 -55 作为上面 2 个时间戳之间的差异。它应该给我 5 分钟。 pyspark 是否有任何直接函数可以获取正确的时差？

import pyspark.sql.functions as F

# ts1 := 2019-11-07T22:00:00.000+0000 
# ts2 := 2019-11-07T21:55:00.000+0000

df.withColumn("time_diff", F.minute("time_stamp") - F.minute("time_stamp2"))

没有给我正确答案。请帮忙。

Answer 1

您可以使用以下函数获取以秒为单位的时差:

from pyspark.sql.functions import *
diff_secs_col = col("time_stamp").cast("long") - col("time_stamp2").cast("long")

然后做数学运算，在几分钟内得到。