python - Pandas — 将数据集行从每个个体更改为每个操作的最简单方法

Question

我有一个数据集，目前每个申请人一行，我需要每个申请一行。共有三列，app_0、app_1 和app_2，其中包含它们所应用的程序的名称。如果他们申请了一个程序，app_0中有一串程序名，app_1 & app_2不见了；如果申请了两个程序，app_0 & app_1中有程序名串，app_2缺失；如果他们已经应用于三个程序，则所有三列都包含字符串。三个相应的 accepted 列的工作方式相同。这是一个示例数据框:

import pandas as pd
import numpy as np

pd.DataFrame({
    'id': [0, 1, 2, 3, 4],
    'test_score': [350, 450, 500, 325, 433],
    'gender': ['F', 'F', 'M', 'M', 'F'],
    'app_0': ['A', 'B', 'D', 'C', 'B'],
    'app_1': ['B', np.nan, np.nan, 'B', np.nan],
    'app_2': [np.nan, np.nan, np.nan, 'A', np.nan],
    'accepted_0': [True, False, False, True, False],
    'accepted_1': [False, np.nan, np.nan, True, np.nan],
    'accepted_2': [np.nan, np.nan, np.nan, False, np.nan]
})

在每个应用程序一行的数据框中，我希望一个列包含应用程序的字符串，一个列指示该应用程序是否被接受或否认。如果申请人提交了多个申请，我希望复制其余的列。最终数据框应如下所示(行顺序无关紧要):

pd.DataFrame({
    'id': [0, 1, 2, 3, 4, 0, 3, 3],
    'test_score': [350, 450, 500, 325, 433, 350, 325, 325],
    'gender': ['F', 'F', 'M', 'M', 'F', 'F', 'M', 'M'],
    'app': ['A', 'B', 'D', 'C', 'B', 'B', 'B', 'A'],
    'accepted': [True, False, False, True, False, False, True, False]
})

我正在寻找在 Pandas 中执行此操作的最简单且计算效率最高(即，可能不是 Iterrows)的方法。它会是一个枢轴数据框，然后是第二个命令来填充从旧数据框复制的值吗？ unstack() 在这里有用吗？谢谢!

Answer 1

你可以使用wide_to_long一些 reset_index 和 dropna

res = (pd.wide_to_long(df, ['app', 'accepted'], sep='_', i='id', j='_')
         .dropna(subset=['app', 'accepted'])
         .reset_index(level='id')
         .reset_index(drop=True)
      )
print(res)
   id  test_score gender app accepted
0   0         350      F   A     True
1   1         450      F   B    False
2   2         500      M   D    False
3   3         325      M   C     True
4   4         433      F   B    False
5   0         350      F   B    False
6   3         325      M   B     True
7   3         325      M   A    False

或使用 set_index 和 stack 与 concat 每个应用程序和单独接受的列

df_ = df.set_index(['id','test_score','gender'])
res = pd.concat([df_.filter(like='app').stack().reset_index(level=-1, drop=True), 
                 df_.filter(like='accepted').stack().reset_index(level=-1, drop=True)], 
                axis=1, keys=['app','accepted']).reset_index()

最后的顺序不一样。