python - 如何在 EDA 过程中使用 Pandas DateTime 识别时间差异

Question

我在 pandas 中有几百万个 DateTime 对象。我在探索性数据分析 (EDA) 文档中找不到任何内容。

看起来每个数据帧中的每一行都有相同的时间:

DF1

时间戳('2018-02-20 00:00:00')

或

DF2 时间戳('2018-01-01 05:00:00')

有没有办法使用 pandas 遍历每一列并检查小时/分钟/秒是否存在差异？

我发现的一切都是关于计算时间之间的差异。

我尝试了一些基本技术，但我得到的只是简单的描述性数字。

min(data['date'])

data['date'].nunique()

我已经尝试过:

 print(data['TIMESTAMP_UTC'])

它确实显示了一些具有不同时间的日期，但我需要一种方法来管理这些信息:

0         2018-01-16 05:00:00
1         2018-05-04 04:00:00
2         2018-10-22 04:00:00
3         2018-01-02 05:00:00
4         2018-01-03 05:00:00
5         2018-01-04 05:00:00
6         2018-01-05 05:00:00
......

理想情况下，​我正在寻找可以输出 .value_counts() 的日期的东西，该日期与其他所有日期都不同

Answer 1

您可以使用.apply()方法将格式从str转换为datetime。然后你使用 datetime来处理它。

要将列值转换为日期时间:

df['TIMESTAMP_UTC'] = pd.to_datetime(df['TIMESTAMP_UTC'] )
df['TIMESTAMP_UTC'] = df['TIMESTAMP_UTC'].apply(lambda x: datetime.strptime(x, "%Y-%b-%d %H:%M:%S"))

然后您可以使用datetime的强大功能来比较或提取信息，例如提取小时数:

df['TIMESTAMP_UTC'].dt.day