pandas - 切断 Pandas 数据框中阈值的值

Question

我有一个包含 5 列的数据框，所有列都包含数值。列代表时间步长。我有一个阈值，如果在规定时间内达到，就会阻止值发生变化。所以假设原始值是 [ 0 , 1.5, 2, 4, 1] 排列成一行，阈值是 2，那么我希望操作的行值是 [0, 1, 2 , 2, 2]有没有办法在没有循环的情况下做到这一点？

一个更大的例子:

>>> threshold = 0.25

>>> input
Out[75]: 
      0    1    2    3    4   
130  0.10 0.20 0.12 0.25 0.20
143  0.11 0.27 0.12 0.28 0.35
146  0.30 0.20 0.12 0.25 0.20
324  0.06 0.20 0.12 0.15 0.20

>>> output
Out[75]: 
      0    1    2    3    4   
130  0.10 0.20 0.12 0.25 0.25
143  0.11 0.27 0.27 0.27 0.27
146  0.30 0.30 0.30 0.30 0.30
324  0.06 0.20 0.12 0.15 0.20

Answer 1

使用:

df = df.where(df.ge(threshold).cumsum(axis=1).cumsum(axis=1).eq(1)).ffill(axis=1).fillna(df)
print (df)
        0     1     2     3     4
130  0.10  0.20  0.12  0.25  0.25
143  0.11  0.27  0.27  0.27  0.27
146  0.30  0.30  0.30  0.30  0.30
324  0.06  0.20  0.12  0.15  0.20

解释:

按ge(>=)阈值比较:

print (df.ge(threshold))
         0      1      2      3      4
130  False  False  False   True  False
143  False   True  False   True   True
146   True  False  False   True  False
324  False  False  False  False  False

创建每行的累计和:

print (df.ge(threshold).cumsum(axis=1))
     0  1  2  3  4
130  0  0  0  1  1
143  0  1  1  2  3
146  1  1  1  2  2
324  0  0  0  0  0

再次获取第一个匹配值:

print (df.ge(threshold).cumsum(axis=1).cumsum(axis=1))
     0  1  2  3  4
130  0  0  0  1  2
143  0  1  2  4  7
146  1  2  3  5  7
324  0  0  0  0  0

比较1:

print (df.ge(threshold).cumsum(axis=1).cumsum(axis=1).eq(1))
         0      1      2      3      4
130  False  False  False   True  False
143  False   True  False  False  False
146   True  False  False  False  False
324  False  False  False  False  False

替换为没有匹配值的NaN:

print (df.where(df.ge(threshold).cumsum(axis=1).cumsum(axis=1).eq(1)))
       0     1   2     3   4
130  NaN   NaN NaN  0.25 NaN
143  NaN  0.27 NaN   NaN NaN
146  0.3   NaN NaN   NaN NaN
324  NaN   NaN NaN   NaN NaN

正向填充缺失值:

print (df.where(df.ge(threshold).cumsum(axis=1).cumsum(axis=1).eq(1)).ffill(axis=1))

       0     1     2     3     4
130  NaN   NaN   NaN  0.25  0.25
143  NaN  0.27  0.27  0.27  0.27
146  0.3  0.30  0.30  0.30  0.30
324  NaN   NaN   NaN   NaN   NaN

将第一个值替换为原始值:

print (df.where(df.ge(threshold).cumsum(1).cumsum(1).eq(1)).ffill(axis=1).fillna(df))
        0     1     2     3     4
130  0.10  0.20  0.12  0.25  0.25
143  0.11  0.27  0.27  0.27  0.27
146  0.30  0.30  0.30  0.30  0.30
324  0.06  0.20  0.12  0.15  0.20