python pandas, DF.groupby().agg(), agg() 中的列引用

Question

在一个具体问题上，假设我有一个 DataFrame DF

     word  tag count
0    a     S    30
1    the   S    20
2    a     T    60
3    an    T    5
4    the   T    10 

我想为每个“单词”找到“计数”最多的“标签”。所以返回会是这样的

     word  tag count
1    the   S    20
2    a     T    60
3    an    T    5

我不关心计数列，也不关心订单/索引是原始的还是困惑的。返回字典 {'the' : 'S', ...} 就可以了。

我希望我能做到

DF.groupby(['word']).agg(lambda x: x['tag'][ x['count'].argmax() ] )

但它不起作用。我无法访问列信息。

更抽象地说，agg(function) 中的 function 将其视为什么参数？

顺便说一句，.agg() 和 .aggregate() 一样吗？

非常感谢。

Answer 1

agg与 aggregate 相同.它是可调用的，传递了 Series 的列(DataFrame 对象) ，一次一个。

---

您可以使用 idxmax收集最大的行的索引标签计数:

idx = df.groupby('word')['count'].idxmax()
print(idx)

产量

word
a       2
an      3
the     1
Name: count

然后使用 loc选择 word 中的那些行和 tag列:

print(df.loc[idx, ['word', 'tag']])

产量

  word tag
2    a   T
3   an   T
1  the   S

请注意 idxmax返回索引标签。 df.loc可用于选择行按标签。但是如果索引不是唯一的——也就是说，如果有重复索引标签的行——那么df.loc将选择带有 idx 中列出的标签的所有行 .所以要小心 df.index.is_unique是 True如果您使用 idxmax与 df.loc

---

或者，您可以使用 apply . apply的可调用对象传递了一个子数据帧，它使您可以访问所有列:

import pandas as pd
df = pd.DataFrame({'word':'a the a an the'.split(),
                   'tag': list('SSTTT'),
                   'count': [30, 20, 60, 5, 10]})

print(df.groupby('word').apply(lambda subf: subf['tag'][subf['count'].idxmax()]))

产量

word
a       T
an      T
the     S

---

使用 idxmax和 loc通常比 apply 快，尤其是对于大型 DataFrame。使用 IPython 的 %timeit:

N = 10000
df = pd.DataFrame({'word':'a the a an the'.split()*N,
                   'tag': list('SSTTT')*N,
                   'count': [30, 20, 60, 5, 10]*N})
def using_apply(df):
    return (df.groupby('word').apply(lambda subf: subf['tag'][subf['count'].idxmax()]))

def using_idxmax_loc(df):
    idx = df.groupby('word')['count'].idxmax()
    return df.loc[idx, ['word', 'tag']]

In [22]: %timeit using_apply(df)
100 loops, best of 3: 7.68 ms per loop

In [23]: %timeit using_idxmax_loc(df)
100 loops, best of 3: 5.43 ms per loop

---

如果你想要一个将单词映射到标签的字典，那么你可以使用 set_index和 to_dict像这样:

In [36]: df2 = df.loc[idx, ['word', 'tag']].set_index('word')

In [37]: df2
Out[37]: 
     tag
word    
a      T
an     T
the    S

In [38]: df2.to_dict()['tag']
Out[38]: {'a': 'T', 'an': 'T', 'the': 'S'}