python - 根据某些列名称对不同数据帧中的列求和

Question

假设我有一个主数据框

main_df

  Cri1  Cri2   Cr3  total
0   A1    A2    A3  4
1   B1    B2    B3  5
2   C1    C2    C3  6

我还有 3 个数据框

df_1

      Cri1   Cri2  Cri3 value
    0   A1    A2    A3  1
    1   B1    B2    B3  2

df_2
      Cri1  Cri2  Cri3  value
    0   A1    A2    A3  9
    1   C1    C2    C3  10

df_3
      Cri1  Cri2  Cri3  value
    0   B1    B2    B3  15
    1   C1    C2    C3  17

我想要的是根据 Cri 将每个帧 df 的值添加到 main_df 中的总计即 main_df 将变为

main_df

      Cri1  Cri2  Cri3  total
    0   A1    A2    A3  14
    1   B1    B2    B3  22
    2   C1    C2    C3  33

当然，我可以使用 for 循环来完成此操作，但最后我想将该方法应用于大量数据，例如每个数据帧中 50000 行。

还有其他方法可以解决吗？

谢谢!

Answer 1

首先，您应该对齐数字列名称。在这种情况下:

df_main = df_main.rename(columns={'total': 'value'})

然后你有几个选择。

连接+分组

您可以连接然后使用 sum 执行 groupby:

res = pd.concat([df_main, df_1, df_2, df_3])\
        .groupby(['Cri1', 'Cri2', 'Cri3']).sum()\
        .reset_index()

print(res)

  Cri1 Cri2 Cri3  value
0   A1   A2   A3     14
1   B1   B2   B3     22
2   C1   C2   C3     33

设置索引+减少/添加

或者，您可以创建按条件列索引的数据框列表。然后使用functools.reduce与 pd.DataFrame.add对这些数据帧求和。

from functools import reduce

dfs = [df.set_index(['Cri1', 'Cri2', 'Cri3']) for df in [df_main, df_1, df_2, df_3]]

res = reduce(lambda x, y: x.add(y, fill_value=0), dfs).reset_index()

print(res)

  Cri1 Cri2 Cri3  value
0   A1   A2   A3   14.0
1   B1   B2   B3   22.0
2   C1   C2   C3   33.0