python - 从 Python 字典中的项目中删除重复值

Question

如何检查并删除字典中项目的重复值？我有一个很大的数据集，所以我正在寻找一种有效的方法。以下是字典中包含重复项的值的示例:

'word': [('769817', [6]), ('769819', [4, 10]), ('769819', [4, 10])]

需要成为

'word': [('769817', [6]), ('769819', [4, 10])]

Answer 1

这个问题本质上归结为从不可散列类型列表中删除重复项，而无法将其转换为集合。

一种可能的方法是在构建新列表值时检查当前值的成员资格。

d = {'word': [('769817', [6]), ('769819', [4, 10]), ('769819', [4, 10])]}
for k, v in d.items():
    new_list = []
    for item in v:
        if item not in new_list:
            new_list.append(item)
    d[k] = new_list

或者，使用 groupby()以获得更简洁的答案，尽管可能较慢(必须首先对列表进行排序，如果是的话，那么它比执行成员资格检查更快)。

import itertools

d = {'word': [('769817', [6]), ('769819', [4, 10]), ('769819', [4, 10])]}
for k, v in d.items():
    v.sort()
    d[k] = [item for item, _ in itertools.groupby(v)]

输出 -> {'word': [('769817', [6]), ('769819', [4, 10])]}