python - 使用重载方法进行散列

Question

我有一个 JSON 对象列表(大约 30,000 个)，我想从中删除重复项。只要 ModuleCode 相同，我就认为它们是重复的。下面是一个对象的示例。

[{"AveragePoints": "4207", 
"ModuleTitle": "Tool Engineering", 
"Semester": "2", 
"ModuleCode": "ME4261", 
"StudentAcctType": "P", 
"AcadYear": "2013/2014"}]

计划按照 example given here. 进行哈希处理经过一些实验后，我仍然不确定如何正确使用重载方法 __eq__ 和 __hash__。我是否创建一个新类并在其中包含这两个方法？

下面是我尝试的解决方案。它返回 NameError: name 'obj' is not defined 我怀疑是我对类的错误使用。

import json

json_data = open('small.json')
data = json.load(json_data)

class Module(obj):
    def __eq__(self, other):
        return self.ModuleCode == other.ModuleCode

    def __hash__(self):
        return hash(('ModuleCode', self.ModuleCode))

hashtable = {} #python's dict is implemented as a hashtable

for item in data:
    cur = Module(item)
    if hashtable[hash(cur)] == item.ModuleCode:
        print "duplicate" + item.ModuleCode
    else:
        hashtable[hash(cur)] = item.ModuleCode


json_data.close()

Answer 1

问题是您指的是 obj，而不是 object，它不存在。此外，您实际上并未定义 Module.__init__，因此永远不要初始化 ModuleCode 属性。这是您可以做到的一种方法:

class Module(object):

    def __init__(self, ModuleCode, **data):
        self.ModuleCode = ModuleCode
        self.data = data

    def __eq__(self, other):
        return self.ModuleCode == other.ModuleCode

    def __hash__(self):
        return hash(('ModuleCode', self.ModuleCode))

然后当你创建实例时:

cur = Module(**item)

(如果不熟悉语法，请参阅例如 What does ** (double star) and * (star) do for parameters?)

---

另外，请注意，您可以使用 set 而不是 dict 来删除重复项；将 ModuleCode 存储为值是重复信息(因为这是实现 __hash__ 和 __eq__ 的重点):

unique = set()

for item in data:
    cur = Module(**item)
    if cur in unique:
        print "duplicate" + cur.ModuleCode
    else:
        unique.add(cur)