python - Pandas - 参数为 "1"的持续时间

Question

我是 python 和 pandas 的新手，我正在尝试解决这个问题:

我有一个看起来像这样的数据集:

timestamp       par_1 par_2
1486873206867   0     0
1486873207039   NaN   0
1486873207185   0     NaN
1486873207506   1     0
1486873207518   NaN   NaN
1486873207831   1     0
1486873208148   0     NaN
1486873208469   0     1
1486873208479   1     NaN
1486873208793   1     NaN
1486873208959   NaN   1
1486873209111   1     NaN
1486873209918   NaN   0
1486873210075   0     NaN

我想知道每个参数的事件“1”的总持续时间。 (参数只能为NaN、1或0)

我已经试过了

df['duration_par_1'] = df.groupby(['par_1'])['timestamp'].apply(lambda x: x.max() - x.min())

但为了进一步处理，我只需要将事件“1”的持续时间放在新列中，然后该持续时间需要放在新列的每一行中，这样它看起来像这样:

timestamp       par_1 par_2  duration_par_1  duration_par2
1486873206867   0     0      2238            1449
1486873207039   NaN   0      2238            1449
1486873207185   0     NaN    2238            1449
1486873207506   1     0      2238            1449
1486873207518   NaN   NaN    2238            1449
1486873207831   1     0      2238            1449
1486873208148   0     NaN    2238            1449
1486873208469   0     1      2238            1449
1486873208479   1     NaN    2238            1449
1486873208793   1     NaN    2238            1449
1486873208959   NaN   1      2238            1449
1486873209111   1     NaN    2238            1449
1486873209918   NaN   0      2238            1449
1486873210075   0     NaN    2238            1449

提前致谢!

Answer 1

我相信您需要根据日期时间的差异为 par 列设置多个值，因为不存在其他值，例如 0、1 和 NaN 在数据中:

d = df['timestamp'].diff()
df1 = df.filter(like='par')
#if need duration by some value e.g. by `0`
#df1 = df.filter(like='par').eq(0).astype(int)
s = df1.mul(d, axis=0).sum().astype(int).add_prefix('duration_')

df = df.assign(**s)
print (df)
        timestamp  par_1  par_2  duration_par_1  duration_par_2
0   1486873206867    0.0    0.0            1110             487
1   1486873207039    NaN    0.0            1110             487
2   1486873207185    0.0    NaN            1110             487
3   1486873207506    1.0    0.0            1110             487
4   1486873207518    NaN    NaN            1110             487
5   1486873207831    1.0    0.0            1110             487
6   1486873208148    0.0    NaN            1110             487
7   1486873208469    0.0    1.0            1110             487
8   1486873208479    1.0    NaN            1110             487
9   1486873208793    1.0    NaN            1110             487
10  1486873208959    NaN    1.0            1110             487
11  1486873209111    1.0    NaN            1110             487
12  1486873209918    NaN    0.0            1110             487
13  1486873210075    0.0    NaN            1110             487

解释:

首先获取timestamp列的差异:

print (df['timestamp'].diff())
0       NaN
1     172.0
2     146.0
3     321.0
4      12.0
5     313.0
6     317.0
7     321.0
8      10.0
9     314.0
10    166.0
11    152.0
12    807.0
13    157.0
Name: timestamp, dtype: float64

通过 filter 选择字符串 par 的所有列:

print (df.filter(like='par'))
    par_1  par_2
0     0.0    0.0
1     NaN    0.0
2     0.0    NaN
3     1.0    0.0
4     NaN    NaN
5     1.0    0.0
6     0.0    NaN
7     0.0    1.0
8     1.0    NaN
9     1.0    NaN
10    NaN    1.0
11    1.0    NaN
12    NaN    0.0
13    0.0    NaN

按 mul 过滤的多个列通过 d:

print (df1.mul(d, axis=0))
    par_1  par_2
0     NaN    NaN
1     0.0    0.0
2     0.0    0.0
3   321.0    0.0
4     0.0    0.0
5   313.0    0.0
6     0.0    0.0
7     0.0  321.0
8    10.0    0.0
9   314.0    0.0
10    0.0  166.0
11  152.0    0.0
12    0.0    0.0
13    0.0    0.0

和求和值:

print (df1.mul(d, axis=0).sum())
par_1    1110.0
par_2     487.0
dtype: float64

转换为 integer 并按 add_prefix 更改索引:

print (df1.mul(d, axis=0).sum().astype(int).add_prefix('duration_'))
duration_par_1    1110
duration_par_2     487
dtype: int32

最后创建新列的时间为 assign .