pyspark - from_utc_timestamp 不考虑夏令时

Question

我需要将 UTC 时间戳转换为 MST 或 EST 时间，但不考虑夏令时。另外，使用 MST 还是 EST 更好，还是应该使用“America/Phoenix”或“America/New York”。

请帮忙。

谢谢，天真

Answer 1

America/New_York 用于 Eastren 和 America/Phoenix 用于 Mountain 时区，Spark from_utc_timestamp 函数将自动为我们获取涵盖的夏令时。

示例:

#set timezone for the session    
spark.conf.set('spark.sql.session.timeZone', 'America/New_York')

#daylight saving time i.e -4:00 hrs from utc
spark.sql("""select current_timestamp as current_ts,from_utc_timestamp(current_timestamp,"America/New_York") utc_to_est""").show(10,False)
#+-----------------------+-----------------------+
#|current_ts             |utc_to_est             |
#+-----------------------+-----------------------+
#|2020-05-10 19:04:28.369|2020-05-10 15:04:28.369|
#+-----------------------+-----------------------+

#after daylight saving time that will be -5:00 hrs from utc.
spark.sql("""select from_utc_timestamp("2020-12-10 15:04:28.369","America/New_York") utc_to_est""").show(10,False)
#+-----------------------+
#|utc_to_est             |
#+-----------------------+
#|2020-12-10 10:04:28.369|
#+-----------------------+