python - 如果存在差异，获取具有相同 id 的项目的最小最大值？

Question

我有两个文件，它们看起来像这样，但它们之间有一些差异:

第一个文件:

 {16:[3, [-7, 87, 20, 32]]}
{17:[2, [-3, 88, 16, 28], 3, [-6, 84, 20, 32]]}
{18:[2, [-1, 88, 16, 28], 3, [-3, 84, 20, 32]]}
{19:[2, [1, 89, 16, 28], 3, [-2, 85, 20, 32]]}
{20:[2, [9, 94, 16, 28], 3, [1, 85, 20, 32]]}
{21:[2, [12, 96, 16, 28], 3, [2, 76, 19, 31]]}
{22:[2, [15, 97, 16, 28], 3, [4, 73, 19, 29]]}
{23:[2, [18, 96, 16, 28], 3, [6, 71, 19, 29], 10, [-10, 60, 51, 82]]}
{24:[2, [22, 97, 16, 28], 3, [9, 71, 19, 27], 10, [-5, 63, 49, 78]]}
{25:[2, [25, 99, 16, 28], 3, [13, 71, 17, 26], 10, [-1, 64, 46, 77]]}
{26:[2, [29, 101, 16, 28], 3, [17, 70, 16, 25], 10, [-1, 65, 45, 77]]}

第二个文件:

{16:[3, [-7, 86, 20, 32]]}
{17:[2, [-3, 82, 16, 28], 3, [-6, 84, 20, 32]]}
{18:[2, [-1, 88, 16, 27], 3, [-3, 84, 20, 32]]}
{19:[2, [1, 89, 16, 28], 3, [-2, 84, 20, 32]]}
{20:[2, [9, 94, 15, 28], 3, [1, 85, 20, 32]]}
{21:[2, [12, 96, 16, 28], 3, [1, 76, 19, 31]]}
{22:[2, [15, 97, 17, 28], 3, [4, 73, 19, 29]]}
{23:[2, [18, 96, 18, 28], 3, [6, 71, 19, 29], 10, [-10, 60, 51, 82]]}
{24:[2, [22, 97, 16, 28], 3, [9, 71, 20, 27], 10, [-5, 63, 49, 78]]}
{25:[2, [25, 99, 16, 28], 3, [13, 71, 17, 26], 10, [-1, 64, 46, 77]]}
{26:[2, [29, 101, 17, 28], 3, [17, 70, 16, 25], 10, [-1, 65, 45, 77]]}

我使用 difflib 比较它们并打印出它们之间存在差异的行。我想做的是打印出共享相同id的最小和最大frame值。

帧是每行的关键，因此本例中的帧范围从 16 到 26。 id 是每个包含 4 个值的列表前面的值。所以第一行的 id 是3。第二行有两个 id，分别是 2 和 3。

所以我想写的一个例子是:

17 - 36

鉴于共享 id 3 的 frames 之一与我正在比较的文件不同。

对于这样的每一个差异，我需要写出一个仅包含开始帧和结束帧的新文件，然后我将致力于将其他字符串连接到每个文件。

这是当前 difflib 的用法，打印出具有不同内容的每一行:

def compare(f1, f2):
    with open(f1+'.txt', 'r') as fin1, open(f2+'.txt', 'r') as fin2:
        diff = difflib.ndiff(fin1.readlines(), fin2.readlines())
        outcome = ''.join(x[2:] for x in diff if x.startswith('- '))
        print outcome

我如何通过调整这个执行 block 来实现我上面描述的目标？

请注意，这两个文件共享相同的frame ammount，但不具有相同的id，因此我需要为每个差异编写两个不同的文件，可能会写入一个文件夹中。因此，如果这两个文件有 20 个差异，我需要有两个主文件夹，每个原始文件一个，每个文件夹包含同一 id 的每个开始和结束帧的文本文件。

Answer 1

假设您的差异列表是您在帖子开头给出的文件内容。我进行了 2 次，第一次获取每个 id 的帧列表:

>>> from collections import defaultdict
>>> diffs = defaultdict(list)
>>> for line in s.split('\n'):
    d = eval(line) # We have a dict
    for k in d: # Only one value, k is the frame
        # Only get even values for ids
        for i in range(0, len(d[k]), 2):
            diffs[d[k][i]].append(k)


>>> diffs # We now have a dict with ids as keys :
defaultdict(<type 'list'>, {10: [23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36], 2: [17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33], 3: [16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36], 29: [31, 32, 33, 34, 35, 36]})

现在我们得到了每个 id 的范围，感谢 this other SO post这有助于从索引列表中获取范围:

>>> from operator import itemgetter
>>> from itertools import groupby
>>> for id_ in diffs:
    diffs[id_].sort()
    for k, g in groupby(enumerate(diffs[id_]), lambda (i, x): i - x):
        group = map(itemgetter(1), g)
        print 'id {0} : {1} -> {2}'.format(id_, group[0], group[-1])


id 10 : 23 -> 36
id 2 : 17 -> 33
id 3 : 16 -> 36
id 29 : 31 -> 36

然后，您就可以得到每个 id 的差异范围。我想只要稍微适应一下，你就能得到你想要的。

编辑:这是具有相同类型 block 的最终答案:

>>> def compare(f1, f2):
    # 2 embedded 'with' because I'm on Python 2.5 :-)
    with open(f1+'.txt', 'r') as fin1:
        with open(f2+'.txt', 'r') as fin2:
            lines1 = fin1.readlines()
            lines2 = fin2.readlines()
                    # Do not forget the strip function to remove unnecessary '\n'
            diff_lines = [l.strip() for l in lines1 if l not in lines2]
                    # Ok, we have our differences (very basic)
            diffs = defaultdict(list)
            for line in diff_lines:
                d = eval(line) # We have a dict
                for k in d:
                    list_ids = d[k] # Only one value, k is the frame
                    for i in range(0, len(d[k]), 2):
                        diffs[d[k][i]].append(k)
            for id_ in diffs:
                diffs[id_].sort()
                for k, g in groupby(enumerate(diffs[id_]), lambda (i, x): i - x):
                    group = map(itemgetter(1), g)
                    print 'id {0} : {1} -> {2}'.format(id_, group[0], group[-1])

>>> compare(r'E:\CFM\Dev\Python\test\f1', r'E:\CFM\Dev\Python\test\f2')
id 2 : 17 -> 24
id 2 : 26 -> 26
id 3 : 16 -> 24
id 3 : 26 -> 26
id 10 : 23 -> 24
id 10 : 26 -> 26