python - Pandas:给定特定信号值的前向和后向行计数

Question

有没有办法有效地计算 Pandas 中特定信号值之前和之后的行数？

这是 Pandas 数据表。您可以看到名为“Signal”的列，其值为 0 和 1。这是给定的数据。我正在寻找的是“forwardBackwardRows”列。在此列中，您可以看到对于每个信号值 1，该值前后的行数。我可以修复这个循环，但效率不高，因为我的表有大约 1 亿行，而且我有大约 1000 个这样的表。最大计数值应为 2。信号前后计数不得超过 2 行

import pandas as pd
data = pd.DataFrame([[1420.49,0],[1421.12,0],[1418.95,0],[1419.04,1],[1419.04,0],[1417.51,0],[1416.97,0],[1413.21,0],[1411.49,1],[1412.57,0],[1408.55,0],[1411.56,0],[1409.16,0],[1413.38,0],[1413.38,1],[1402.35,0],[1413.22,0],[1411.7,0],[1397.8,0],[1398.36,0],[1397.62,0],[1394.58,1],[1399.05,0],[1399.9,0],[1398.96,1],[1398.96,0],[1393.69,0],[1398.13,0],[1398.66,1],[1398.02,0],[1397.97,1],[1396.05,0],[1398.13,1]], columns=["Values", "Signal"])

这是我正在寻找的结果的视觉效果

+----+---------+--------+---------------------+
|    | Values  | Signal | forwardBackwardRows |
+----+---------+--------+---------------------+
|  0 | 1420.49 |      0 |                   0 |
|  1 | 1421.12 |      0 |                  -3 |
|  2 | 1418.95 |      0 |                  -2 |
|  3 | 1419.04 |      1 |                   1 |
|  4 | 1419.04 |      0 |                   2 |
|  5 | 1417.51 |      0 |                   3 |
|  6 | 1416.97 |      0 |                  -3 |
|  7 | 1413.21 |      0 |                  -2 |
|  8 | 1411.49 |      1 |                   1 |
|  9 | 1412.57 |      0 |                   2 |
| 10 | 1408.55 |      0 |                   3 |
| 11 | 1411.56 |      0 |                   0 |
| 12 | 1409.16 |      0 |                  -3 |
| 13 | 1413.38 |      0 |                  -2 |
| 14 | 1413.38 |      1 |                   1 |
| 15 | 1402.35 |      0 |                   2 |
| 16 | 1413.22 |      0 |                   3 |
| 17 |  1411.7 |      0 |                   0 |
| 18 |  1397.8 |      0 |                   0 |
| 19 | 1398.36 |      0 |                  -3 |
| 20 | 1397.62 |      0 |                  -2 |
| 21 | 1394.58 |      1 |                   1 |
| 22 | 1399.05 |      0 |                   2 |
| 23 |  1399.9 |      0 |                  -2 |
| 24 | 1398.96 |      1 |                   1 |
| 25 | 1398.96 |      0 |                   2 |
| 26 | 1393.69 |      0 |                   3 |
| 27 | 1398.13 |      0 |                  -2 |
| 28 | 1398.66 |      1 |                   1 |
| 29 | 1398.02 |      0 |                   2 |
| 30 | 1397.97 |      1 |                   1 |
| 31 | 1396.05 |      0 |                   2 |
| 32 | 1398.13 |      1 |                   1 |
+----+---------+--------+---------------------+

Answer 1

这是一种方法:

start = df[df.Signal == 1].iloc[0].name
end = df[df.Signal == 1].iloc[-1].name

对于递增计数器，您可以执行以下操作:

g = df.Signal.cumsum()
pos = df.loc[start:, 'Signal'].groupby(g).cumcount()+1
pos = pos.reindex(index = df.index).fillna(0)
pos[pos > 3] = 0

对于递减:

g2 = df.Signal[::-1].cumsum()[::-1]
neg = -(df.loc[:end, 'Signal'].groupby(g2).cumcount(ascending=False)+1) 
neg = neg.reindex(index = df.index).fillna(0)
neg[neg < -3] = 0

您可以使用DataFrame.combine为了获得预期的输出:

def f(x,y):
    if x == 0.:
        return y
    if y == 0.:
        return x
    if abs(x) <= abs(y):
        return x
    else:
        return y

df['forwardBackwardRows'] = pos.combine(neg, func = f)

输出:

     Values     Signal        forwardBackwardRows
0   1420.49       0                  0.0
1   1421.12       0                 -3.0
2   1418.95       0                 -2.0
3   1419.04       1                  1.0
4   1419.04       0                  2.0
5   1417.51       0                  3.0
6   1416.97       0                 -3.0
7   1413.21       0                 -2.0
8   1411.49       1                  1.0
9   1412.57       0                  2.0
10  1408.55       0                  3.0
11  1411.56       0                  0.0
12  1409.16       0                 -3.0
13  1413.38       0                 -2.0
14  1413.38       1                  1.0
15  1402.35       0                  2.0
16  1413.22       0                  3.0
17  1411.70       0                  0.0
18  1397.80       0                  0.0
19  1398.36       0                 -3.0
20  1397.62       0                 -2.0
21  1394.58       1                  1.0
22  1399.05       0                  2.0
23  1399.90       0                 -2.0
24  1398.96       1                  1.0
25  1398.96       0                  2.0
26  1393.69       0                  3.0
27  1398.13       0                 -2.0
28  1398.66       1                  1.0
29  1398.02       0                  2.0
30  1397.97       1                  1.0
31  1396.05       0                  2.0
32  1398.13       1                  1.0