python - 过滤在非常大的列表中只出现一次的项目

Question

我有一个很大的列表(超过 1,000,000 个项目)，其中包含英文单词:

tokens = ["today", "good", "computer", "people", "good", ... ]

我想获取列表中只出现一次的所有项目

现在我正在使用:

tokens_once = set(word for word in set(tokens) if tokens.count(word) == 1)

但是真的很慢。我怎样才能让它更快？

Answer 1

您遍历一个列表，然后对每个元素重复一次，这使得它成为 O(N²)。如果您将 count 替换为 Counter，您将遍历列表一次，然后再次遍历唯一元素列表，在最坏的情况下，O (2N)，即 O(N)。

from collections import Counter

tokens = ["today", "good", "computer", "people", "good"]
single_tokens = [k for k, v in Counter(tokens).iteritems() if v == 1 ]
# single_tokens == ['today', 'computer', 'people']