sql - pyspark获取月份的周数

Question

我对从 pyspark 中的 datafrme 列中的月份获取周数感到困惑，例如，将我的数据框视为

WeekID,DateField,WeekNUM
1,01/JAN/2017
2,15/Feb/2017

我的输出应该如下所示

WeekIDm,DateField,MOF
1,01/JAN/2017,1
2,15/FEB/2017,2

我尝试使用 striftime 和其他我无法执行的日期函数。

请帮我解决这个问题。

Answer 1

您可以组合使用 to_date 和 date_format:

from pyspark.sql.functions import to_date, date_format

df = spark.createDataFrame(
    [(1, "01/JAN/2017"), (2, "15/FEB/2017")], ("id", "date"))

df.withColumn("week", date_format(to_date("date", "dd/MMM/yyyy"), "W")).show()
+---+-----------+----+
| id|       date|week|
+---+-----------+----+
|  1|01/JAN/2017|   1|
|  2|15/FEB/2017|   3|
+---+-----------+----+

如果您想要一年中的一周，请将格式替换为 w:

date_format(to_date("date", "dd/MMM/yyyy"), "w")