python - 为 Athena 操作 pandas 中的日期时间格式

Question

由于 Pandas 和 Athena 读取日期时间格式的方式，我必须操作多个列才能以有效的格式获取数据。

这涉及将字符串转换为日期时间

df["serviceStartTimestamp"] = pd.to_datetime(df["serviceStartTimestamp"])

returning

0   2019-08-07 08:04:43.942000+00:00
1   2019-08-07 08:13:48.397000+00:00
2   2019-08-07 09:02:29.067000+00:00

然后运行这个，

df["serviceStartTimestamp"] = pd.to_datetime(df["serviceStartTimestamp"].astype("str").str.split("+", expand=True)[0])

returning

0   2019-08-07 08:04:43.942
1   2019-08-07 08:13:48.397
2   2019-08-07 09:02:29.067

如果日期时间列包含任何其他数字，它们在 athena 中就会变得困惑，但我目前解决这个问题的方法似乎效率很低，所以我想知道是否有更好的方法？

Answer 1

您需要传递format='%Y-%m-%d %H:%M:%S.%f'。

pd.to_datetime(df["serviceStartTimestamp"]).dt.strftime('%Y-%m-%d %H:%M:%S.%f')

输出:

0   2019-08-07 08:04:43.942
1   2019-08-07 08:13:48.397
2   2019-08-07 09:02:29.067