python - 替换长列表中的元素Python

Question

我正在尝试用标签替换更大列表(300 万个元素)中的多个元素(大约 40k)。下面的代码可以工作，但是速度非常慢。

def UNKWords(words):
    words = Counter(words)
    wordsToBeReplaced = []
    for key, value in words.items():
        if(value == 1):
            wordsToBeReplaced.append(key)
    return wordsToBeReplaced

wordsToBeReplaced = UNKWords(trainingWords)

replacedWordsList = ["<UNK>" if word in wordsToBeReplaced else word for word in trainingWords]

是否有更有效的方法来替换如此大的列表中的元素？

Answer 1

您可以将 wordsToBeReplaced 设置为一个集合，以便可以在平均恒定时间内完成查找，而不是线性时间:

def UNKWords(words):
    return {word for word, count in Counter(words).items() if count == 1}