python - 获取包含字符串列表的 Pandas 列的词频

Question

我有一个 Pandas 数据框:

import pandas as pd
test = pd.DataFrame({'words':[['foo','bar none','scare','bar','foo'],
                              ['race','bar none','scare'],
                              ['ten','scare','crow bird']]})

我正在尝试获取数据框列中所有列表元素的单词/短语计数。我目前的解决方案是:

allwords = []

for index, row in test.iterrows():
    for word in row['words']:
        allwords.append(word)

from collections import Counter
pd.Series(Counter(allwords)).sort_values(ascending=False)

这可行，但我想知道是否有更快的解决方案。注意:我没有使用 ' '.join() 因为我不希望将短语拆分为单个单词。

Answer 1

我们试试 .hstack 与 .value_counts :

pd.value_counts(np.hstack(test['words']))

---

scare        3
foo          2
bar none     2
ten          1
bar          1
crow bird    1
race         1
dtype: int64