pyspark - to_timestamp 什么时候从 19xx 产生结果？

Question

PySpark 在什么条件/标准下以 dd-MMM-yy 格式转换日期(01-JAN-40) 至 1940-01-01 00:00:00.000而不是 2040-01-01 00:00:00.000 ?

from pyspark.sql import functions as psf
df.withColumn('my_date', psf.to_timestamp("my_date", "dd-MMM-yy"))

我运行的一些示例如下:

01-JAN-40 -> 1940-01-01 00:00:00.000
01-JAN-47 -> 1947-01-01 00:00:00.000
01-JAN-15 -> 2015-01-01 00:00:00.000
01-JAN-18 -> 2018-01-01 00:00:00.000
01-JAN-19 -> 2019-01-01 00:00:00.000
01-JAN-20 -> 2020-01-01 00:00:00.000

Answer 1

目前(Spark <= 2.4.4)，spark 正在使用 java SimpleDateFormat引擎盖下的类来解析字符串。来自 java 文档 here , 规定

For parsing with the abbreviated year pattern ("y" or "yy"), SimpleDateFormat must interpret the abbreviated year relative to some century. It does this by adjusting dates to be within 80 years before and 20 years after the time the SimpleDateFormat instance is created.

因此，如果您在 2019 年运行它，则最多 39 的所有内容都将在 20xx 中，其他所有内容都将在 19xx 中