apache-spark - pyspark中的时间戳解析

Question

df1:

Timestamp:

1995-08-01T00:00:01.000+0000

有没有办法使用pyspark在数据框的时间戳列中分隔月份中的某天。无法提供代码，我是新来的 Spark 。我不知道如何继续。

Answer 1

您可以使用 unix_timestamp 解析此时间戳:

from pyspark.sql import functions as F

format = "yyyy-MM-dd'T'HH:mm:ss.SSSZ"
df2 = df1.withColumn('Timestamp2', F.unix_timestamp('Timestamp', format).cast('timestamp'))

然后，您可以在新的时间戳列中使用 dayofmonth:

df2.select(F.dayofmonth('Timestamp2'))

有关这些函数的更多详细信息可以在 pyspark functions documentation 中找到。 .