python - 通过组的子集的平均值对分组的 DataFrame 进行归一化

Question

我想使用Condition CT中的值的平均值对按Type分组的Pandas DataFrame中的数据进行标准化.

DataFrame 是这样的:

df = pd.DataFrame({'Type' : ['A', 'A', 'A', 'A',
                          'B', 'B', 'B', 'B'],
                   'Condition' : ['Tx', 'CT', 'Tx', 'CT',
                          'Tx', 'CT', 'Tx', 'CT'],
                   'Var1' : np.random.randn(8),
                   'Var2' : np.random.randn(8)})

print(df)
  Condition Type      Var1      Var2  Var1_Norm  Var2_Norm
0        Tx    A -1.555886 -0.454512   3.290695  -1.059712
1        CT    A  0.820324  0.357123  -1.734983   0.832645
2        Tx    A -0.355758  0.807324   0.752426   1.882305
3        CT    A -0.799936  1.005673   1.691862   2.344762
4        Tx    B -0.253152 -0.585186   0.234666   6.790024
5        CT    B -0.672658  0.851191   0.623540  -9.876536
6        Tx    B -1.768877 -0.083506   1.639711   0.968933
7        CT    B -1.620407 -0.527232   1.502083   6.117579

我知道如何通过整个组的平均值进行标准化:

df[['Var1_Norm', 'Var2_Norm']] = df.groupby(['Type']).transform(lambda x: x/x.mean())

但是如何通过组子集的平均值(Condition == 'CT' 的行)对分组数据进行标准化？

我尝试了以下操作，结果出现 AttributeError:

df[['Var1_Norm', 'Var2_Norm']] = df.groupby(['Type']).transform(lambda x: x/x[x.Condition == 'CT'].mean())
AttributeError: ("'Series' object has no attribute 'Condition'", 'occurred at index Condition')

在@piRSquared的回答的帮助下，我找到了一个使用for循环的解决方案:

df[['Var1_Norm', 'Var2_Norm']] = df[['Var1', 'Var2']]
for t in df.Type.unique():
    ct_mean = df.loc[(df.Type == t) & (df.Condition == 'CT'),['Var1_Norm', 'Var2_Norm']].mean()
    df.loc[df.Type == t,['Var1_Norm', 'Var2_Norm']] = df.loc[df.Type == t,['Var1_Norm', 'Var2_Norm']].div(ct_mean)

Answer 1

您可以使用apply方法而不是transform。

groupby 方法 transform 传递一个系列并期望返回一个系列，而 apply 传递一个数据帧并期望一个数据帧或一个系列作为返回(更详细地解释 here )。这将允许您检查条件，因为您可以访问函数内的相关列:

df[['Var1_Norm', 'Var2_Norm']] = df.groupby(['Type']).apply(
    lambda x: x[['Var1', 'Var2']] / x.loc[x['Condition'] == 'CT', ['Var1', 'Var2']].mean())

print(df)

结果:

  Condition Type      Var1      Var2  Var1_Norm  Var2_Norm
0        Tx    A  0.285153  0.093274   0.653616  -0.281818
1        CT    A  0.947555 -0.998790   2.171946   3.017739
2        Tx    A -1.123067 -0.572842  -2.574246   1.730783
3        CT    A -0.075015  0.336844  -0.171946  -1.017739
4        Tx    B  0.126968 -1.095042   0.146513  -2.741475
5        CT    B  0.441539  0.431948   0.509506   1.081396
6        Tx    B -1.945165 -0.233643  -2.244588  -0.584932
7        CT    B  1.291665  0.366923   1.490494   0.918604

当然，您可以将其推广到任意数量的列，甚至创建一个函数生成器来根据给定条件生成函数。