python - 用于检查值是否在列表中的逻辑不适用于集合

Question

我正在编写一个程序，无论大小写如何，它都会从文件中删除重复的单词。单词被定义为任何不带空格且重复的字符序列，DUPLICATE、Duplicate 和 DuPliCate 都是重复项。

我通过将原始文本作为单词(字符串)列表读取并通过检查当前单词是否在唯一单词列表中创建一个新的唯一字符串列表来使程序正常工作。如果它不在唯一列表中，则将其附加到列表中；忽略换行符的重复项。

正如你们许多人所知，使用列表并不是很有效，尤其是对于大型文本文件。因此，我尝试通过使用一组来确定是否应该将特定单词附加到唯一列表中来实现此功能。

这个逻辑有效但效率低下:

def remove_duplicates(self):
    """
    :return: void
    Adds each unique word to a new list, checking for all the possible cases.
    """
    print("Removing duplicates...")
    unique = []
    for elem in self.words:
        if elem == '\n':
            unique.append(elem)
        else:
            if elem not in unique \
                    and elem.upper() not in unique \
                    and elem.title() not in unique \
                    and elem.lower() not in unique:
                unique.append(elem)
    self.words = unique

因此，合乎逻辑的做法是使用如下所示的集合:

def remove_duplicates(self):
    """
    :return: void
    Adds each unique word to a new list, checking for all the possible cases.        
    """
    print("Removing duplicates...")
    unique = []
    seen = set()
    for elem in self.words:
        lower = elem.lower()       
        seen.add(lower)
        if elem == '\n':
            unique.append(elem)
        else:
            if lower not in seen:
                unique.append(elem)       
    self.words = unique

但是，这似乎不起作用。我最终得到一个空的文本文件。我已经打印了该集合，并且它不是空的。嵌套的 if 语句似乎有问题，我很困惑它可能是什么。我已经尝试调试这个几个小时但没有运气。我什至尝试按照我在工作效率低下的示例中所做的那样编写 if 语句，但它仍然给我带来同样的问题。我不明白为什么它没有将这些词附加到 unique 上。

示例输入:

self.words = ["duplicate", "not", "DUPLICATE", "DuPliCate", "hot"]

预期输出(需要保留原始顺序，仅保留重复单词的第一个实例):

 unique = ["duplicate", "not", "hot"] 

Answer 1

您在检查对象之前将其添加到 seen 中，因此它始终存在于 if 语句的 seen 中。

for elem in self.words:
            lower = elem.lower()       

            if lower not in seen:
                unique.append(elem)
                seen.add(lower) # move your seen statement to exist within the check
self.words = unique

return self.words

Removing duplicates...
['duplicate', 'not', 'hot']