python - Pandas:使用 `df.loc` 从 datetime64 到 int 的类型转换

Question

尝试使用 df.loc[] 重新分配列中的某些值时，将日期时间转换为整数时出现奇怪的类型转换错误。

最小示例:

import numpy as np
import pandas as pd
import datetime
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
print(d)
d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))
print(d)

完整示例:

这是我的数据框(包含 NaN):

>>> df.head()

  prior_ea_date quarter
0    12/31/2015      Q2
1    12/31/2015      Q3
2    12/31/2015      Q3
3    12/31/2015      Q3
4    12/31/2015      Q2

>>> df.prior_ea_date

0         12/31/2015
1         12/31/2015
...
341486     1/19/2016
341487      1/6/2016
Name: prior_ea_date, dtype: object

我想运行下面这行代码:

df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)

其中 dt 是日期时间解析器的字符串，正常运行时会给出:

>>> df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True).head()

0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
Name: prior_ea_date, dtype: datetime64[ns]

但是，当我运行 .loc[] 时，我得到以下信息:

>>> df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)
>>> df.head()

         prior_ea_date quarter
0  1451520000000000000      Q2
1  1451520000000000000      Q3
2  1451520000000000000      Q3
3  1451520000000000000      Q3
4  1451520000000000000      Q2

它已将我的日期时间对象转换为整数。

• 为什么会这样？
• 如何避免这种行为？

我已经设法建立了一个临时解决方案，所以尽管任何单行 hack 都会受到赞赏，但我想要一个 pandas 风格的解决方案。

谢谢。

Answer 1

我们将从第一个问题开始:如何避免这种行为？

我的理解是您想将 prior_eta_date 列转换为 datetime 对象。 Pandas 风格的方法是使用 to_datetime:

df.prior_ea_date = pd.to_datetime(df.prior_ea_date, format='%m/%d/%Y')
df.prior_ea_date

0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
5          NaT
Name: prior_ea_date, dtype: datetime64[ns]

您的第一个问题更有趣:为什么会这样？

我认为发生的事情是，当您使用 df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = .... 时，您是在prior_ea_date 列，而不是覆盖整个列。在这种情况下，Pandas 执行默认类型转换，将右侧转换为原始 prior_ea_date 列的类型。请注意，那些长整数是所需日期的纪元时间。

我们可以通过您的最小示例看到这一点:

##
# Example of type casting on slice
##

d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))

# Column-a is still dtype: object
d.a
0    12/6/2015
1          NaN
Name: a, dtype: object

d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))

# Column-a is still dtype: object
d.a
0    1449360000000000000
1                    NaN
Name: a, dtype: object

##
# Example of overwriting whole column
##

d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
d.a = pd.to_datetime(d.a, format='%m/%d/%Y')

# Column-a dtype is now datetime
d.a
0   2015-12-06
1          NaT
Name: a, dtype: datetime64[ns]

更多详情:

为了响应 OP 要求提供更多幕后细节的请求，我跟踪了 Pycharm 中的调用堆栈以了解发生了什么。 TLDR 的答案是:最终，将 datetime dtypes 转换为整数的意外行为是由于 Numpy 的内部行为。

d = np.datetime64('2015-12-30T16:00:00.000000000-0800')
d.astype(np.dtype(object))
#>>> 1451520000000000000L

...您能否详细说明为什么在使用 .loc 时会发生这种类型转换以及如何避免这种情况...

我原来答案中的直觉是正确的。这是因为日期时间对象被转换为通用 object 类型。这是因为 loc 切片上的设置保留了设置了值的列的数据类型。

当使用 loc 设置值时，Pandas 使用 indexing module 中的 _LocationIndexer .在检查了大量维度和条件之后，self.obj._data = self.obj._data.setitem(indexer, value) 行实际上设置了新值。

进入该行，我们发现日期时间被转换为整数的那一刻，line 742 pandas.core.internals.py :

values[indexer] = value  

在此语句中，values 是对象数据类型的 Numpy ndarray。这是原始作业左侧的数据。它包含日期字符串。 indexer 只是一个元组。 value 是 Numpy datetime64 对象的 ndarray。

此操作使用 Numpy 自己的 setitem 方法，它通过调用 np.asarray(value, self.dtype) 来填充各个“单元格”。在您的情况下，self.dtype 是左侧的类型:object 并且值参数在各个日期时间中。

np.asarray(d, np.dtype(object))
#>>> array(1451520000000000000L, dtype=object)

...以及如何避免...
不要使用 loc。像上面的示例一样覆盖整个列。

...我认为使用 dtype=object 的列可以避免 pandas 假定对象类型。无论哪种方式，当原始列包含字符串和 NaN 时，为什么它应该将其转换为 int 似乎出乎我的意料。

最终，该行为是由于 Numpy 如何实现从日期时间到对象的转换。现在为什么 Numpy 会那样做？我不知道。这是一个很好的新问题，也是一个完全不同的问题。