date - 如何计算pyspark数据帧中DateType的Max(Date)和Min(Date)？

Question

数据框有一个字符串类型的日期列 '2017-01-01'
它被转换为 DateType()

df = df.withColumn('date', col('date_string').cast(DateType()))

我想计算 first day和 last day列的。我尝试使用以下代码，但它们不起作用。任何人都可以提供任何建议吗？谢谢!

df.select('date').min()
df.select('date').max()

df.select('date').last_day()
df.select('date').first_day()

Answer 1

与 min 聚合和 max :

from pyspark.sql.functions import min, max

df = spark.createDataFrame([
  "2017-01-01", "2018-02-08", "2019-01-03"], "string"
).selectExpr("CAST(value AS date) AS date")

min_date, max_date = df.select(min("date"), max("date")).first()
min_date, max_date
# (datetime.date(2017, 1, 1), datetime.date(2019, 1, 3))