python - 如何计算多个标记化单词列表中最常见的 10 个单词

Question

我有一个数据集，其中包含大量标记化单词列表。例如:

['apple','banana','tomato']
['tomato','tree','pikachu']

我有大约 40,000 个这样的列表，我想统计所有 40,000 个列表中最常见的 10 个单词。

有人知道吗？

Answer 1

您可以使用 itertools.chain 展平嵌套列表并使用 Counter 获取最常用的词及其 most_common 方法:

from itertools import chain
from collections import Counter

l = ['apple','banana','tomato'],['tomato','tree','pikachu']

Counter(chain(*l)).most_common(10)
# [('tomato', 2), ('apple', 1), ('banana', 1), ('tree', 1), ('pikachu', 1)]