python - 计算嵌套列表中的字符串

Question

我有一个列表列表如下。

sentences = [
    ["my", "first", "question", "in", "stackoverflow", "is", "my", "favorite"], 
    ["my", "favorite", "language", "is", "python"]
]

我想获取 sentences 中每个单词的数量列表。所以，我的输出应该如下所示。

{
    'stackoverflow': 1,
     'question': 1,
     'is': 2,
     'language': 1,
     'first': 1,
     'in': 1,
     'favorite': 2,
     'python': 1,
     'my': 3
}

我目前正在这样做。

frequency_input = [item for sublist in sentences for item in sublist]
frequency_output = dict(
    (x,frequency_input.count(x)) 
    for x in set(frequency_input)
)

但是，对于长列表，它根本没有效率。我有一个很长的列表，列表中有大约 100 万个句子。我花了两天时间运行它，它仍在运行。

在这种情况下，我想让我的程序更有效率。我当前的第一行代码是 O(n^2)我的第二行是 O(n) .请让我知道在 python 中是否有更有效的方法。如果我能用比现在更短的时间运行它，那将是非常理想的。我不担心空间复杂性。

如果需要，我很乐意提供更多详细信息。

Answer 1

一种更简单、更高效的方法是使用 itertools.chain 来展平列表。 , 并用 collections.Counter 计算字符串:

from collections import Counter
from itertools import chain

Counter(chain.from_iterable(sentences))

Counter({'my': 3,
         'first': 1,
         'question': 1,
         'in': 1,
         'stackoverflow': 1,
         'is': 2,
         'favorite': 2,
         'language': 1,
         'python': 1})