python - Pandas 数据帧 : Operation per batch of rows

Question

我有一个 Pandas 数据帧 df我想为每批行计算一些统计信息。

例如，假设我有一个 batch_size = 200000 .

每批batch_size行 我​​想要列的唯一值数量 ID我的数据帧。

我怎么能做这样的事情？

这是我想要的一个例子:

print(df)

>>
+-------+
|     ID|
+-------+
|      1|
|      1|
|      2|
|      2|
|      2|
|      3|
|      3|
|      3|
|      3|
+-------+

batch_size = 3

my_new_function(df,batch_size)

>>
For batch 1 (0 to 2) :
2 unique values 
1 appears 2 times
2 appears 1 time

For batch 2 (3 to 5) : 
2 unique values 
2 appears 2 times
3 appears 1 time

For batch 3 (6 to 8) 
1 unique values 
3 appears 3 times

注意:输出当然可以是一个简单的 DataFrame

Answer 1

见 this post对于拆分过程，您可以这样做以获得唯一“ID”的数量

df = pd.DataFrame({'ID' : [1, 1, 2, 2, 2, 3, 3, 3, 3]})
batch_size = 3
result = []
for batch_number, batch_df in df.groupby(np.arange(len(df)) // batch_size):
    result.append(batch_df['ID'].nunique())
pd.DataFrame(result)

编辑:按照user3426270的回答，我回答的时候没注意到