python - 模糊文件差异

Question

我可以找到一些关于模糊搜索的资源，但没有关于模糊文件/字符串比较的资源。有没有什么方法可以在忽略简单差异(例如日期和电子邮件地址)的情况下比较文件？

我在考虑一个函数/工具，我可以将 2 个字符串和一个正则表达式列表传递给它。返回将是一个差异列表，除了与传递的正则表达式匹配的差异。

作为第一步，我考虑包装 difflib 并根据传递的正则表达式测试差异对，但有没有更好的方法来实现这一点？

Answer 1

假设您有一个元组列表，其中每个元组都有一个正则表达式和一个字符串

[(r'\d\d?/\d\d?/\d\d\d\d', '00/00/0000'), ...]

我们可以以此为基础构建生成器管道，使用 re.sub 执行连续替换，以混淆日期、时间、电子邮件地址等方面的差异。

import re

def replace(pat, repl, iterable):
    pat = re.compile(pat)
    for string in iterable:
        yield pat.sub(repl, string)

def reader(filelist):
    for name in filelist:
        with open(name) as f:
            yield f.read()

filelist = ['filename1.txt', 'filename2.txt', ...]
patterns = [(r'\d\d?/\d\d?/\d\d\d\d', '00/00/0000'), ...]
source = reader(filelist)
gen = source
for pat, repl in patterns:
    gen = replace(pat, repl, gen)
for string in gen:
    print(string)

在最后一个 for 循环中，gen 是一个生成器，它会生成经过清理的文件内容。我在这里打印它们，但您可以将它们写回文件、保存它们、一次分析一个，或者运行一些迭代 diff。