pandas - 通过 groupby.apply 创建新列时如何避免临时变量

Question

我想在数据框 df 中创建一个新列 newcol 作为

的结果

df.groupby('keycol').apply(somefunc)

显而易见的:

df['newcol'] = df.groupby('keycol').apply(somefunc)

不起作用:df['newcol'] 最终包含所有 nan(这肯定不是 RHS 评估的结果)，或者一些异常被引发(异常的细节因 somefunc 返回的内容而异)。

我已经尝试了上面的许多变体，包括像

import pandas as pd
df['newcol'] = pd.Series(df.groupby('keycol').apply(somefunc), index=df.index)

他们都失败了。

唯一可行的方法是定义一个中间变量:

import pandas as pd

tmp = df.groupby('keycol').apply(lambda x: pd.Series(somefunc(x)))
tmp.index = df.index
df['rank'] = tmp

有没有一种无需创建中间变量即可实现此目的的方法？

(GroupBy.apply 的文档几乎没有内容。)

Answer 1

让我们建立一个例子，我想我可以说明为什么你的第一次尝试失败了:

示例数据:

n = 25
df = pd.DataFrame({'expenditure' : np.random.choice(['foo','bar'], n),
                   'groupid' : np.random.choice(['one','two'], n),
                  'coef' : randn(n)})
print df.head(10)

结果:

       coef expenditure groupid
0  0.874076         bar     one
1 -0.972586         foo     two
2 -0.003457         bar     one
3 -0.893106         bar     one
4 -0.387922         bar     two
5 -0.109405         bar     two
6  1.275657         foo     two
7 -0.318801         foo     two
8 -1.134889         bar     two
9  1.812964         foo     two

因此，如果对分组数据应用一个简单的函数 mean，我们将得到以下结果:

df2= df.groupby('groupid').apply(mean)
print df2

这是:

             coef
groupid          
one     -0.215539
two      0.149459

所以上面的数据帧由 groupid 索引并且有一个列，coef。

您首先尝试做的实际上是:

df['newcol'] = df2

这给出了 newcol 的所有 NaN。老实说，我不知道为什么那不会引发错误。我不确定为什么它会产生任何东西。我认为您真正想要做的是将 df2 合并回 df

要合并 df 和 df2，我们需要从 df2 中删除索引，重命名新列，然后合并:

df2= df.groupby('groupid').apply(mean)
df2.reset_index(inplace=True)
df2.columns = ['groupid','newcol']

df.merge(df2)

我认为是您所追求的。

这是一个非常常见的习语，以至于 Pandas 包含 transform 方法，该方法将所有这些包装成一个更简单的语法:

df['newcol'] = df.groupby('groupid').transform(mean)
print df.head()

结果:

       coef expenditure groupid    newcol
0  1.705825         foo     one -0.025112
1 -0.608750         bar     one -0.025112
2 -1.215015         bar     one -0.025112
3 -0.831478         foo     two -0.073560
4  2.174040         bar     one -0.025112

更好的文档是 here .