python - Pandas:将多列子集映射到单列子集的有效方法

Question

问题

我正在尝试将具有相同名称的多个列集聚合/合并为单列集。例如:

我有一个数据框，其中包含多个具有重复列名的列。例如，考虑这个示例，其中我有一个具有相同列名的多个列的两倍子集，如下所示:

    A    A     A     B     B
  0 cute tall tall  NaN   old
  1 NaN  NaN   5    NaN   NaN
  2  1   old   NaN  cute  big

我的目标是将每个子集(AAA 和 BB)映射到其自己的单列子集。以下所需的输出说明了这个想法:

      A_new          B_new
 0   "cute, tall"    "old"
 1   "5"              NaN
 2   "1, old"        "cute, big"

为了到达这里，我在输入数据帧上应用了以下 3 个简单逻辑:

1. 将所有非 NaN 值组合成一个字符串并将其保存到新列。
2. 组合非 NaN 值时检查重复项并仅返回不重复的值
3. 如果所有值均为 NaN，则返回 NaN

我当前的解决方案基于 for 循环，迭代每一行。但是，这种方法非常慢，而且我的数据帧非常大，因此我想知道是否有更有效/快速的方法来实现此目的？

这是我当前(非常慢)的解决方案:

for c,j in tqdm(enumerate(columns)): # columns is a list holding all the relevant column names
    merged_values = []
    for i in (range(0,len(df))):
        values = [x for x in df[j].iloc[i] if x is not np.nan]
        values = list(set(values))
        if values == []:
            values = np.nan
        #print(values)
        elif len(values) > 1:
            values = ", ".join(values)
        else:
            values = values[0]
        merged_values.append(values)
    if c == 0:
        data = pd.DataFrame(merged_values,columns=[j+"_new"])
    else:
        data[j] = pd.DataFrame(merged_values,columns=[j+"_new])

Answer 1

您只需要先stack，然后groupby和join，然后使用unstack转换回来

df.stack().groupby(level=[0,1]).apply(lambda x : ','.join(set(x))).unstack()
Out[237]: 
           A         B
0  cute,tall       old
1          5       NaN
2      1,old  big,cute