python - 使用python从文本文件中删除重复行

Question

这个问题已经有答案了:

How might I remove duplicate lines from a file? (15 个回答)

已关闭 8 年前。

之前我编写了从多个文件中提取特定字符串的代码，并将结果存储在单独的文件中。现在该文件有重复的结果，我需要将其删除。

import glob
import re
import os.path
path=r"H:\sample"
file_array=glob.glob(os.path.join(path,'*.txt'))
with open("aiq_hits.txt","w") as out_file;
    for input_filename in file_array:
        with open(input_filename) as in_file:
            for line in in_file:
                match=re.findall(r"""(?<=')[^']*\.aiq(?=')|(?<=")[^"]*\.aiq(?=")""")                  
                for item in match:
                    out_file.write("%s\n" %item)
out_file.close()

此 out_file 有重复的结果，我需要删除这些结果，结果应该是相同的文件

Answer 1

1. 加载输入文件。
2. 按行读取输入文件。 readlines 将返回文件内容中的行列表。
3. 创建一个新列表。
4. 迭代行中的每一行。
5. 去除行中的空格。
6. 检查new_lines中是否存在该行。
7. 如果没有，则在 new_lines 列表中追加该行。
8. 写入 new_lines 到文件中。

演示:

input_file = "input.txt"
with open(input_file, "r") as fp:
    lines = fp.readlines()
    new_lines = []
    for line in lines:
        #- Strip white spaces
        line = line.strip()
        if line not in new_lines:
            new_lines.append(line)

output_file = "output.txt"
with open(output_file, "w") as fp:
    fp.write("\n".join(new_lines))