python-3.x - Pandas groupby，聚合字符串变量并向上移动空单元格

Question

我有一个数据框，其中包含带有重复标识符和大量空单元格的字符串变量。

我想按标识符分组并将所有值放在一行中。如果一列有多个条目或一个标识符，我需要一个带有后缀的新行，以便稍后识别它。

这是我的数据

ID   name1  name2   name3   name4   name5   name6   name7   name8
Tom  sarah          mike                
Tom                                 john    john        
Gen  paul                           
Gen         sandra                      
Gen                 lara    lara    lara    lara        
Gen                                                 mike    mike
Lara bill   bill    bill                    
Lara                josh    josh            
Lara                kevin   kevin   kevin   mike    
Lara                                        devon   devon   devon

这是我到目前为止从 here 开始使用的代码:

grouped = df1.groupby('ID')
df1 = grouped.aggregate(lambda x: tuple(x))

这给了我以下结果:

                      name1                    name2                  name3  \
ID                                                                            
Gen   (paul, nan, nan, nan)  (nan, sandra, nan, nan)  (nan, nan, lara, nan)   
Lara  (bill, nan, nan, nan)    (bill, nan, nan, nan)  (bill, nan, nan, nan)   
Tom            (sarah, nan)               (nan, nan)             (nan, nan)   

                        name4                    name5  \
ID                                                       
Gen     (nan, nan, lara, nan)    (nan, nan, lara, nan)   
Lara  (nan, josh, kevin, nan)  (nan, josh, kevin, nan)   
Tom               (mike, nan)              (nan, john)   

                       name6                    name7                   name8  
ID                                                                             
Gen    (nan, nan, lara, nan)    (nan, nan, nan, mike)   (nan, nan, nan, mike)  
Lara  (nan, nan, kevin, nan)  (nan, nan, mike, devon)  (nan, nan, nan, devon)  
Tom              (nan, john)               (nan, nan)              (nan, nan) 

但这就是我真正想要的，但我不知道该怎么做:

ID   name1  name2   name3   name3_suffixA   name3_suffixB   name4   name4_suffixA   name5   name6   name6_suffixA   name7   name8
Tom  sarah          mike                                                            john    john            
Gen  paul   sandra  lara                                    lara                    lara    lara                    mike    mike
Lara bill   bill    bill    josh            kevin           josh    kevin           kevin   mike    devon           devon   devon

后缀的实际名称无关紧要，如果附加条目出现在末尾或中间也无关紧要。

有一些类似的问题，我知道。但是我无法处理任何案例/解决方案，我真的很感激一些帮助。

Answer 1

使用:

s = df.set_index('ID').stack().to_frame('c')
df = (s.set_index(s.groupby(level=[0,1]).cumcount().astype(str), append=True)['c']
       .unstack([1,2])
       .sort_index(level=0, axis=1))
df.columns = ['{}_{}'.format(i,j) if j != '0' else '{}'.format(i) for i, j in df.columns]
print (df)
      name1   name2 name3 name3_1 name3_2 name4 name4_1  name5 name6 name6_1  \
ID                                                                             
Gen    paul  sandra  lara    None    None  lara    None   lara  lara    None   
Lara   bill    bill  bill    josh   kevin  josh   kevin  kevin  mike   devon   
Tom   sarah    None  mike    None    None  None    None   john  john    None   

      name7  name8  
ID                  
Gen    mike   mike  
Lara  devon  devon  
Tom    None   None  

解释:

1. 通过 set_index 创建系列和 stack - NaN被移除
2. 通过 cumcount 将新级别添加到 MultiIndex按一级和二级
3. reshape unstack通过最后两个级别并使用 sort_index用于按列排序 MultiIndex - 仅第一级
4. 通过列表推导展开MultiIndex，排除名称的第一列0

详细信息:

print (s)
                 c
ID                
Tom  name1   sarah
     name3    mike
     name5    john
     name6    john
Gen  name1    paul
     name2  sandra
     name3    lara
     name4    lara
     name5    lara
     name6    lara
     name7    mike
     name8    mike
Lara name1    bill
     name2    bill
     name3    bill
     name3    josh
     name4    josh
     name3   kevin
     name4   kevin
     name5   kevin
     name6    mike
     name6   devon
     name7   devon
     name8   devon

另一种解决方案:

df = df.groupby('ID').agg(lambda x: list(x.dropna()))

L = ([pd.DataFrame(df[x].values.tolist(),
                  index=df.index,
                  columns = ['{}_{}'.format(x,i) if i != 0 
                                                 else '{}'.format(x) 
                                                 for i in range(df[x].str.len().max())]) for x in df])
df = pd.concat(L, axis=1)
print (df)
      name1   name2 name3 name3_1 name3_2 name4 name4_1  name5 name6 name6_1  \
ID                                                                             
Gen    paul  sandra  lara    None    None  lara    None   lara  lara    None   
Lara   bill    bill  bill    josh   kevin  josh   kevin  kevin  mike   devon   
Tom   sarah    None  mike    None    None  None    None   john  john    None   

      name7  name8  
ID                  
Gen    mike   mike  
Lara  devon  devon  
Tom    None   None  

解释:

1. 用 dropna 聚合每一列并转换为 list
2. 在列表推导中，为每一列和 concat 创建 DataFrame在一起