apache-spark - 计算pyspark中两个日期之间的时间

Question

希望这是相当基本的。我有一个包含日期列的 Spark 数据框，我想添加一个包含自该日期以来的天数的新列。谷歌福让我失望。

这是我尝试过的:

from pyspark.sql.types import *
import datetime
today = datetime.date.today()

schema = StructType([StructField("foo", DateType(), True)])
l = [(datetime.date(2016,12,1),)]
df = sqlContext.createDataFrame(l, schema)
df = df.withColumn('daysBetween',today - df.foo)
df.show()

它失败并出现错误:

u"cannot resolve '(17212 - foo)' due to data type mismatch: '(17212 - foo)' requires (numeric or calendarinterval) type, not date;"

我试过摆弄，但一无所获。我不能认为这太难了。任何人都可以帮忙吗？

Answer 1

好的，想通了

from pyspark.sql.types import *
import pyspark.sql.functions as funcs
import datetime
today = datetime.date(2017,2,15)

schema = StructType([StructField("foo", DateType(), True)])
l = [(datetime.date(2017,2,14),)]
df = sqlContext.createDataFrame(l, schema)
df = df.withColumn('daysBetween',funcs.datediff(funcs.lit(today), df.foo))
df.collect()

返回 [Row(foo=datetime.date(2017, 2, 14), daysBetween=1)]