Python numpy : cannot convert datetime64[ns] to datetime64[D] (to use with Numba)

Question

我想将一个日期时间数组传递给一个 Numba 函数(它不能被矢量化，否则会很慢)。我了解 Numba 支持 numpy.datetime64。但是，它似乎支持 datetime64[D](天精度)但不支持 datetime64[ns](纳秒精度)(我很难学到这一点:它有记录吗？)。

我尝试将 datetime64[ns] 转换为 datetime64[D]，但似乎找不到方法!有什么想法吗？

我用下面的最少代码总结了我的问题。如果您运行 testdf(mydates)，即 datetime64[D]，它可以正常工作。如果您运行 testdf(dates_input)，即 datetime64[ns]，则不会。请注意，此示例只是将日期传递给 Numba 函数，该函数(尚未)对它们做任何事情。我尝试将 dates_input 转换为 datetime64[D]，但转换不起作用。在我的原始代码中，我从 SQL 表中读取到 pandas 数据框，并且需要一列将每个日期的日期更改为 15 日。

import numba
import numpy as np
import pandas as pd
import datetime

mydates =np.array(['2010-01-01','2011-01-02']).astype('datetime64[D]')
df=pd.DataFrame()
df["rawdate"]=mydates
df["month_15"] = df["rawdate"].apply(lambda r: datetime.date( r.year, r.month,15 ) )

dates_input = df["month_15"].astype('datetime64[D]')
print dates_input.dtype # Why datetime64[ns] and not datetime64[D] ??


@numba.jit(nopython=True)
def testf(dates):
    return 1

print testf(mydates)

如果我运行 testdf(dates_input) 得到的错误是:

numba.typeinfer.TypingError: Failed at nopython (nopython frontend)
Var 'dates' unified to object: dates := {pyobject}

Answer 1

Series.astype 将所有类似日期的对象转换为 datetime64[ns]。要转换为datetime64[D]，在调用astype之前使用values获取一个NumPy数组:

dates_input = df["month_15"].values.astype('datetime64[D]')

---

请注意，NDFrames(例如 Series 和 DataFrames)只能将类似日期时间的对象保存为 dtype datetime64[ns] 的对象。所有类似日期时间的自动转换为通用 dtype 简化了后续日期计算。但这使得在 DataFrame 列中存储例如 datetime64[s] 对象成为不可能。 Pandas 核心开发者，Jeff Reback explains ,

"We don't allow direct conversions because its simply too complicated to keep anything other than datetime64[ns] internally (nor necessary at all)."

---

还要注意，即使 df['month_15'].astype('datetime64[D]') 具有 dtype datetime64[ns]:

In [29]: df['month_15'].astype('datetime64[D]').dtype
Out[29]: dtype('<M8[ns]')

当您遍历系列中的项目时，您会得到 pandas Timestamps，而不是 datetime64[ns]s。

In [28]: df['month_15'].astype('datetime64[D]').tolist()
Out[28]: [Timestamp('2010-01-15 00:00:00'), Timestamp('2011-01-15 00:00:00')]

因此，目前尚不清楚 Numba 是否真的存在 datetime64[ns] 的问题，它可能只是 Timestamps 的问题。抱歉，我无法检查 - 我没有安装 Numba。

不过，尝试一下可能对你有用

testf(df['month_15'].astype('datetime64[D]').values)

因为 df['month_15'].astype('datetime64[D]').values 确实是一个 dtype 的 NumPy 数组 datetime64[ns]:

In [31]: df['month_15'].astype('datetime64[D]').values.dtype
Out[31]: dtype('<M8[ns]')

如果可行，那么您不必将所有内容都转换为 datetime64[D]，您只需将 NumPy 数组(而不是 Pandas 系列)传递给 testf.