python - pandas df 中当前唯一值的计数

Question

我试图在 pandas df 中返回 count 的 unique 值。它是每个行 的累积计数。我的目标是合并一个函数来确定当前在任何时间点出现的值的数量。

import pandas as pd

df = pd.DataFrame({          
    'A' : ['8:06:00','11:00:00','11:30:00','12:00:00','13:00:00','13:30:00','14:00:00','17:00:00'],
    'B' : ['ABC','ABC','DEF','XYZ','ABC','LMN','DEF','ABC'],          
    'C' : [1,2,1,1,3,1,2,4],            
    })

          A    B  C
0   8:06:00  ABC  1
1  11:00:00  ABC  2
2  11:30:00  DEF  1
3  12:00:00  XYZ  1
4  13:00:00  ABC  3
5  13:30:00  LMN  1
6  14:00:00  DEF  2
7  17:00:00  ABC  4

因此 col['B'] 中有 4 个 unique 值。我正在测量的

df1 = df['B'].nunique()

但我希望通过列合并迭代的函数，以确定是否再次出现任何特定值。如果不是，我希望计数减少。如果这是第一次出现该值，我想增加计数。如果该值已经出现并再次出现，则计数应保持不变。这将显示在任何时间点出现了多少个值。

使用@jpp 的代码，我们生成以下内容:

cum_maxer = pd.Series(pd.factorize(df['B'])[0] + 1).cummax()
df['res'] = cum_maxer - df['B'].duplicated().cumsum()

print(df)

输出:

          A    B  C  res
0   8:06:00  ABC  1    1
1  11:00:00  ABC  2    0
2  11:30:00  DEF  1    1
3  12:00:00  XYZ  1    2
4  13:00:00  ABC  3    1
5  13:30:00  LMN  1    2
6  14:00:00  DEF  2    1
7  17:00:00  ABC  4    0

'res' 的预期输出

0  1
1  1
2  2
3  3
4  2
5  3
6  2
7  1

本质上，如果 value 第一次出现，我想将它添加到 cumulative count 中。如果该值结束(稍后未出现)，则计数应减少。如果值已经出现并再次出现，则计数应保持不变。

每一行的摘要和预期的输出:

第1行，ABC第一次出现，之后出现。 计数 = +1

第 2 行，ABC 再次出现，所以没有增加。它也出现得较晚，所以没有减少。 计数 = 无变化

第3行，DEF第一次出现，后来出现。 计数 = +1

第 4 行，XYZ 第一次出现但后来没有出现。不过此时，出现了 3 个值，因此 count 为 3。当 XYZ 完成

时，计数会自动下降到下一行

第 5 行，如上所述 XYZ 已完成，因此目前只有 ABC 和 DEF 处于打开状态。 ABC 值也再次出现，因此 count 为 2。

第 6 行，LMN 首次出现，因此计数增加。这意味着 ABC、DEF、LMN 在该时间点是最新的。与 第 4 行 非常相似，LMN 不会再次出现，因此随着 LMN 完成，计数将在下一行减少。 计数为 3

第 7 行，DEF 和 ABC 当前处于打开状态，因此 计数为 2。由于 DEF 不再出现，计数将在下一行减少。

第 8 行，ABC 是当前唯一的值，因此 count 是 1。

Answer 1

你也可以使用np.unique

u = np.unique(df.B, return_index=True)
df['id'] = df.B.map(dict(zip(*u))) + 1

0    1
1    2
2    3
3    1
4    2
5    1

---

编辑问题

对于您编辑过的问题，这里有一个解决方案。首先，在倒置数据框中使用 cumcount 来预见 future

df['u'] = df[::-1].groupby('B').B.cumcount()

u 表示对于每个 B，当前 B 在未来出现了多少次。然后，zip B 和 u 使用您的逻辑，使用 S_n = S_{n-1} + new_value + dec 如果当前 val 是一个新值，并且 dec 是 ，则 new_value 为 True 的标志True 如果前一行是该值的最后一次出现(即当时的 u==0)。代码会是这样的

ids = [1]
seen = set([df.iloc[0].B])
dec = False
for val, u in zip(df.B[1:], df.u[1:]):
    ids.append(ids[-1] + (val not in seen) - dec)
    seen.add(val)
    dec = u == 0

df['S'] = ids

    A           B   C   u   S   expected
0   8:06:00     ABC 1   3   1          1
1   11:00:00    ABC 2   2   1          1
2   11:30:00    DEF 1   1   2          2
3   12:00:00    XYZ 1   0   3          3
4   13:00:00    ABC 3   1   2          2
5   13:30:00    LMN 1   0   3          3
6   14:00:00    DEF 2   0   2          2
7   17:00:00    ABC 4   0   1          1

在哪里

>>> (df.S == df.expected).all()
True

---

时间

df = pd.DataFrame({          
'A' : ['8:06:00','11:00:00','11:30:00','12:00:00','13:00:00','13:30:00','14:00:00','17:00:00'],
'B' : ['ABC','ABC','DEF','XYZ','ABC','LMN','DEF','ABC'],          
'C' : [1,2,1,1,3,1,2,4],            
})

def matt(df):
    valsets = df['B'].apply(lambda x: {x})
    union_sets = np.frompyfunc(lambda x, y: x | y, 2, 1)
    intersect_count = np.frompyfunc(lambda x, y: len(x & y), 2, 1)

    seen = union_sets.accumulate(valsets, dtype=np.object)
    to_be_seen = union_sets.accumulate(valsets[::-1], dtype=np.object)[::-1]
    df['res'] = intersect_count(seen, to_be_seen)
    return df

def raf(df):
    ids = [1]
    seen = set([df.iloc[0].B])
    dec = False
    df['u'] = df[::-1].groupby('B').B.cumcount()
    for val, u in zip(df.B[1:], df.u[1:]):
        ids.append(ids[-1] + (val not in seen) - dec)
        seen.add(val)
        dec = u == 0

    df['S'] = ids
    return df

df = pd.concat([df]*10000).reset_index()

结果

%timeit matt(df)
168 ms ± 12.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit raf(df)
64.2 ms ± 2.04 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)