python - 用python仅总结时间序列中的非NaN数据

Question

我需要每日值的总和，但仅限于不包含 NaN 值的日子。我的 csv 文件包含半小时数据，但有时测量设备会出现故障。我需要每日总和，但只要它包含 NaN 值，我就不需要它来总结这一天。 我的 Csv 文件如下所示:

date        time       ET
28. Nov 01  08:15   -0.00152
28. Nov 01  08:45   -0.00324
28. Nov 01  09:15   0.00805
28. Nov 01  09:45   0.00684
28. Nov 01  10:15   0.00918
28. Nov 01  10:45   
28. Nov 01  11:15   0.00867
28. Nov 01  11:45   0.01014
28. Nov 01  12:15   0.01697
28. Nov 01  12:45   0.00739

这一天有一个缺失值，所以我不想要这一天的总和，而是所有其他具有所有测量值的日子的总和。

我目前的代码是这样的:

import pandas as pd
ts = pd.read_csv('C:\Python27\Scripts\ET_T_2000.csv', sep=';', parse_dates=[['date', 'time']])
ts.fillna(0)
ts1 = ts.set_index('date_time')['ET'].resample('D', how='sum')

有人知道怎么做吗？

Answer 1

如果我没理解错的话，您想过滤掉所有包含 NaN 的日期的所有数据，然后将这些日期与一个完整的、不含 NaN 的数据集相加。

为简单起见，使用 squeeze 关键字将其设为 Series，而不是 DataFrame。 (这不是必需的，但它使接下来的内容更加直接。)

et = pd.read_csv(..., index_col=0, squeeze=True)

要过滤掉任何 NaN 的日子，

complete_days_only = et.groupby(lambda x: x.date).filter(lambda x: ~x.isnull().any())

现在重新取样

complete_days_only.resample('D', how='sum')