python - 循环遍历所有行 Pandas 的替代方法

Question

我有一个这样的数据框:

d = {
     'jobid': [100, 101,103,104,100,100,101], 
     'memberid': [1,2,3,3,3,2,1],
     'cluster':['bronze','silver','gold','gold','gold','silver','silver']
    }
df = pd.DataFrame(data=d)
df
jobid   memberid    cluster
0   100 1   bronze
1   101 2   silver
2   103 3   gold
3   104 3   gold
4   100 3   gold
5   100 2   silver
6   101 1   silver

我使用以下代码找到了每个作业的每个集群的百分比:

for i in df['jobid']:
    perc_bronze=round((df.loc[(df['jobid']==i) & (df['cluster']=='bronze')].count()[0]/df.loc[(df['jobid']==i)].count()[0])*100,2)
    df.loc[df['jobid']==i,'BronzeCluster']=perc_bronze
    perc_silver=round((df.loc[(df['jobid']==i) & (df['cluster']=='silver')].count()[0]/df.loc[(df['jobid']==i)].count()[0])*100,2)
    df.loc[df['jobid']==i,'SilverCluster']=perc_silver
    perc_gold=round((df.loc[(df['jobid']==i) & (df['cluster']=='gold')].count()[0]/df.loc[(df['jobid']==i)].count()[0])*100,2)
    df.loc[df['jobid']==i,'GoldCluster']=perc_gold

输出:

    jobid   memberid    cluster BronzeCluster   SilverCluster   GoldCluster
0   100 1   bronze  33.33   33.33   33.33
1   101 2   silver  0.00    100.00  0.00
2   103 3   gold    0.00    0.00    100.00
3   104 3   gold    0.00    0.00    100.00
4   100 3   gold    33.33   33.33   33.33
5   100 2   silver  33.33   33.33   33.33
6   101 1   silver  0.00    100.00  0.00

最终结果是正确的，但问题是对于大型数据集运行需要花费大量时间。是否有另一种方法可以以较低的计算成本获得此输出？

Answer 1

您可以使用 df.groupby并使用 GroupBy.value_counts除以 GroupBy.count , 现在使用 df.unstack , 现在使用 df.merge 合并它们将 how 参数设置为 left。

g = df.groupby('jobid')['cluster']
d = (g.value_counts().div(g.count())
       .mul(100).unstack(fill_value=0)
       .add_prefix('Cluster')
    )
df.merge(d, how='left', left_on='jobid', right_index=True)

   jobid  memberid cluster  Clusterbronze  Clustergold  Clustersilver
0    100         1  bronze      33.333333    33.333333      33.333333
1    101         2  silver       0.000000     0.000000     100.000000
2    103         3    gold       0.000000   100.000000       0.000000
3    104         3    gold       0.000000   100.000000       0.000000
4    100         3    gold      33.333333    33.333333      33.333333
5    100         2  silver      33.333333    33.333333      33.333333
6    101         1  silver       0.000000     0.000000     100.000000