python - 如何读取带有 timedeltas 和 NaN 的 csv？

Question

我正在尝试读取如下所示的 csv 文件:

              col 1             col 2             col 3      ...     col N
0        0 days 00:00:16   0 days 00:00:07   0 days 00:01:02          NaN
.
.
.
15000    0 days 01:40:00         NaN               NaN       ...      NaN

我尝试过的:

df = pd.read_csv('file.csv', sep=',', index_col=0, dtype=object)
df = df.applymap(lambda x: pd.to_timedelta(x))

但是由于我有很多列和行，所以速度有点慢。有更合适的方法来做到这一点吗？

Answer 1

parse_dates 都不支持 timedelta 对象或dtype read_csv中的参数。这里有几个替代方案。

apply与 pd.to_timedelta

df = df.apply(pd.to_timedelta, errors='coerce')

或者，

for c in df.columns:
    df[c] = pd.to_timedelta(df[c], errors='coerce')

<小时/>

pd.read_csv与 converters=论据

另一种选择是传递 converters加载时的参数:

f = {i : pd.to_timedelta for i in range(N)}  # you can access columns by index
df = pd.read_csv('file.csv', sep=',', index_col=0, converters=f)