python - pandas groupby-apply 行为，返回一个系列(输出类型不一致)

Question

我很好奇 pandas groupby-apply 在 apply 函数返回一个系列时的行为。

当序列长度不同时，返回多索引序列。

In [1]: import pandas as pd

In [2]: df1=pd.DataFrame({'state':list("AABBB"),
   ...:                 'city':list("vwxyz")})

In [3]: df1
Out[3]:
  city state
0    v     A
1    w     A
2    x     B
3    y     B
4    z     B

In [4]: def f(x):
   ...:         return pd.Series(x['city'].values,index=range(len(x)))
   ...:

In [5]: df1.groupby('state').apply(f)
Out[5]:
state
A      0    v
       1    w
B      0    x
       1    y
       2    z
dtype: object

这将返回一个 Series 对象。

但是，如果每个系列的长度都相同，那么它将把它转换成一个DataFrame。

In [6]: df2=pd.DataFrame({'state':list("AAABBB"),
   ...:                 'city':list("uvwxyz")})

In [7]: df2
Out[7]:
  city state
0    u     A
1    v     A
2    w     A
3    x     B
4    y     B
5    z     B

In [8]: df2.groupby('state').apply(f)
Out[8]:
       0  1  2
state
A      u  v  w
B      x  y  z

这真的是预期的行为吗？如果我们以这种方式使用应用程序，我们是否打算检查返回类型？还是 apply 中有一个我不喜欢的选项？

如果您好奇的话，在我的实际用例中，返回的 Series 的长度将与组的长度相同。这似乎是 transform 的理想情况，只是我发现 apply 返回 Series 实际上在大型数据集上快了一个数量级。那可以是另一个话题。

编辑:根据 Parfait 的回答，我们当然可以这样做:

X=df.groupby('state').apply(f)
if not isinstance(X,pd.Series):
    X=X.stack()
X

这将为 df=df1 或 df=df2 提供相同的输出类型。我想我只是在问这是否真的是正常的或首选的处理方式。

Answer 1

本质上，数据框由等长系列组成(技术上是 Series 对象的字典容器)。如 Pandas 中所述split-apply-combine文档，运行 groupby() 指的是以下一项或多项

• Splitting the data into groups based on some criteria
• Applying a function to each group independently
• Combining the results into a data structure

请注意，这并不是说总是生成数据框，而是生成一个通用的数据结构。因此，groupby() 操作可以向下转换为系列，或者如果给定系列作为输入，则可以向上转换为数据帧。

对于您的第一个数据框，您运行不相等的分组(或不相等的索引长度)强制返回一个序列，在“组合”处理中，该序列返回不足以产生数据框。由于数据框不能组合不同长度的序列，因此它会产生一个多索引序列。您可以在定义函数中使用 print 语句看到这一点，其中 state==A 组长度为 2，B 组长度为 3。

def f(x):
    print(x)
    return pd.Series(x['city'].values, index=range(len(x)))

s1 = df1.groupby('state').apply(f)

print(s1)
#   city state
# 0    v     A
# 1    w     A
#   city state
# 0    v     A
# 1    w     A
#   city state
# 2    x     B
# 3    y     B
# 4    z     B
# state   
# A      0    v
#        1    w
# B      0    x
#        1    y
#        2    z
# dtype: object

但是，您可以通过重置索引从而调整其层次级别来操纵多索引系列结果:

df = df1.groupby('state').apply(f).reset_index()
print(df)

#   state  level_1  0
# 0     A        0  v
# 1     A        1  w
# 2     B        0  x
# 3     B        1  y
# 4     B        2  z

但与您的需求更相关的是 unstack()它旋转索引标签的级别，产生一个数据框。考虑使用 fillna() 来填充 None 结果。

df = df1.groupby('state').apply(f).unstack()
print(df)

#        0  1     2
# state            
# A      v  w  None
# B      x  y     z