gpt4 book ai didi

python Pandas : How to get multiple subsets of dataframe efficiently based on id column

转载 作者:行者123 更新时间:2023-12-02 19:22:44 26 4
gpt4 key购买 nike

我有一个这样的数据框:

df = pd.DataFrame({'id': [1, 1, 1, 2, 2], 'C1': ['1A', '1B', '1C', '2A', '2B'], 'C2': [100, 200, 300, 400, 500]})
print(df)

id C1 C2
0 1 1A 100
1 1 1B 200
2 1 1C 300
3 2 2A 400
4 2 2B 500

从这个数据框中,我如何为“id”的每个值获取多个子集,就像这样?

   id  C1   C2
0 1 1A 100
   id  C1   C2
0 1 1A 100
1 1 1B 200
   id  C1   C2
0 1 1A 100
1 1 1B 200
2 1 1C 300
   id  C1   C2
0 2 2A 400
   id  C1   C2
0 2 2A 400
1 2 2B 500

我可以像下面这样写一个 for 循环。

for id in df['id'].unique().tolist():
df1 = df[df['id'] == id]
for i in range(len(df1) + 1):
df1 = df1.head(i)

是否有一种有效的方法来执行此操作,因为我拥有的数据框在“id”列中有数千个值。

我尝试使用 df.apply,但它一次只能处理 1 行(轴 = 1)。

我的最终目标是得到如下数据框(其中 C2 是子数据框的 C2 列中值的总和)。

    id  1A  1B  1C  2A  2B  C2
0 1 1 0 0 0 0 100
0 1 1 1 0 0 0 300
0 1 1 1 1 0 0 600
1 2 0 0 0 1 0 400
1 2 0 0 0 1 1 900

如果我采用 for 循环方法,我可以在内部 for 循环中获得的子集数据帧上执行分组“id”、求和“C2”列和交叉表。然后我可以最终 pd.concat 所有子集交叉表结果。但我不知道如何更有效地做到这一点。请提出建议。

最佳答案

通常,您不需要自己创建所有这些子集,因为您可以进行“累积”计算来完成您需要的。

C2 是每个“ID”内的累积和 (cumsum) 的结果。您的虚拟列是 pd.get_dummies 的结果,然后是每个组中的 cumulative max (cummax)(归功于@Ben.T ).使用 concat 加入计算以获得结果,并使用 groupby + ngroup 为所需索引标记每个 ID。

# Dummies for C1
df1 = pd.get_dummies(df.C1)
df1 = df1.groupby(df['id']).cummax()

# Join, ID from df, dummies from df1 and cumsum
df1 = pd.concat([df['id'], df1, df.groupby('id')['C2'].cumsum()], axis=1)

# Create your index, breaks alignment of df and df1 from this point on
df1.index = df1.groupby(df['id'], sort=False).ngroup()

print(df1)

id 1A 1B 1C 2A 2B C2
0 1 1 0 0 0 0 100
0 1 1 1 0 0 0 300
0 1 1 1 1 0 0 600
1 2 0 0 0 1 0 400
1 2 0 0 0 1 1 900

关于 python Pandas : How to get multiple subsets of dataframe efficiently based on id column,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62821391/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com