python - 从字典列表中删除重复项(具有唯一值)

Question

我有一个字典列表，每个字典都描述一个文件(文件格式、文件名、文件大小……以及文件的完整路径 [始终唯一])。目标是除了一个描述同一文件副本的字典之外的所有字典(我只希望每个文件有一个字典(条目)，无论有多少副本。

换句话说:如果 2 个(或更多)dict 仅在一个键(即路径)上不同 - 只保留其中一个)。

例如，这是源列表:

src_list = [{'filename': 'abc', 'filetype': '.txt', ... 'path': 'C:/'},
            {'filename': 'abc', 'filetype': '.txt', ... 'path': 'C:/mydir'},
            {'filename': 'def', 'filetype': '.zip', ... 'path': 'C:/'},
            {'filename': 'def', 'filetype': '.zip', ... 'path': 'C:/mydir2'}]

结果应该是这样的:

dst_list = [{'filename': 'abc', 'filetype': '.txt', ... 'path': 'C:/'},
            {'filename': 'def', 'filetype': '.zip', ... 'path': 'C:/mydir2'}]

Answer 1

使用另一个字典将列表中的字典不“忽略”键映射到实际字典。这样，每一种只会保留一个。当然，dict 不可哈希，因此您必须改用(排序的)元组。

src_list = [{'filename': 'abc', 'filetype': '.txt', 'path': 'C:/'},
            {'filename': 'abc', 'filetype': '.txt', 'path': 'C:/mydir'},
            {'filename': 'def', 'filetype': '.zip', 'path': 'C:/'},
            {'filename': 'def', 'filetype': '.zip', 'path': 'C:/mydir2'}]
ignored_keys = ["path"]
filtered = {tuple((k, d[k]) for k in sorted(d) if k not in ignored_keys): d for d in src_list}
dst_lst = list(filtered.values())

结果是:

[{'path': 'C:/mydir', 'filetype': '.txt', 'filename': 'abc'}, 
 {'path': 'C:/mydir2', 'filetype': '.zip', 'filename': 'def'}]