python - 如何处理 `pickle.load`调用尚未准备好使用的 `__setitem__`？

Question

我试图实现一个(原型(prototype)，而不是生产)版本的持久字典，它使用磁盘上的pickle作为持久存储。但是，pickle.load 出于自身目的调用 __setitem__ ，并且(当然)会重写该方法以确保对字典的更改传播回持久存储-- 因此它调用 pickle.dump。当然，调用 pickle.dump 是不行的，因为每个项目都是在 unpickle 过程中设置的。

除了暴力破解(如下)之外，还有什么办法可以解决这个问题吗？我尝试阅读Pickling Class Instances寻找使用特殊方法的解决方案，但没有找到任何解决方案。

下面的代码监视 unpickling 是否正在进行，并在这种情况下跳过 pickle.dump；虽然它工作正常，但感觉很糟糕。

import os, pickle

class PersistentDict(dict):
    def __new__(cls, *args, **kwargs):
        if not args: # when unpickling
            obj = dict.__new__(cls)
            obj.uninitialized = True
            return obj
        path, *args = args
        if os.path.exists(path):
            obj = pickle.load(open(path, 'rb'))
            del obj.uninitialized
            return obj
        else:
            obj = dict.__new__(cls, *args, **kwargs)
            obj.path = path
            obj.dump()
            return obj

    def __init__(self, *args, **kwargs):
        pass

    def __setitem__(self, key, value):
        super().__setitem__(key, value)
        self.dump()

    def __delitem__(self, key):
        super().__delitem__(key)
        self.dump()

    def dump(self):
        if not hasattr(self, 'uninitialized'):
            pickle.dump(self, open(self.path, 'wb'))

    def clear(self):
        os.remove(self.path)

pd = PersistentDict('abc')
assert pd == {}
pd[1] = 2
assert pd == {1: 2}
pd[2] = 4
assert pd == {1: 2, 2: 4}
del pd[1]
assert pd == {2: 4}
xd = PersistentDict('abc')
assert xd == {2: 4}
xd[3] = 6
assert xd == {2: 4, 3: 6}
yd = PersistentDict('abc')
assert yd == {2: 4, 3: 6}
yd.clear()

Answer 1

在尝试实现精美的字典实现时，不建议直接从 dict 继承。一方面，Python 的 ABI 在 dict 类上采取了一些快捷方式，最终可能会跳过对某些 dunder 方法的一些调用 - 而且，正如您在 pikcling 和 unpickling 时可以看到的那样 - 字典和它的直接子类将以与普通方式不同的方式处理对象(其 __dict__ 属性已 pickle ，而不是使用 __setitem__ 设置键。

因此，首先，从继承 collections.UserDict 开始 - 这是 dict 的不同实现，它确保所有数据访问都是通过正确的 Python 端完成的调用 dunder 特殊方法。您甚至可能希望将其实现为 collections.abc.MutableMapping 的实现 - 这确保您必须在代码中实现最少数量的方法，以使您的类像真正的字典一样工作。

第二件事:Pickle 协议(protocol)默认会做“它的事情” - 在映射类中是(我没有检查，但显然是)， pickle (键，值)对并调用 __setitem__ 对于 unpicling 中的每一个。但 pickle 行为是完全可定制的 - 正如您所看到的 on the documentation - 您只需在类上实现显式 __getstate__ 和 __setstate__ 方法即可完全控制 pickling/unpickling 代码。

使用 MutableMapping 并将字典内容存储在关联的内部字典中的示例:

from collections.abc import MutableMapping

class SpecialDict(MutableMapping):
    def __init__(self, path, **kwargs):
        self.path = path
        self.content = dict(**kwargs)
        self.dump()
    def __getitem__(self, key):
        return self.content[key]

    def __setitem__(self, key, value):
        self.content[key] = value
        self.dump()

    def __delitem__(self, key):
        del self.content[key]
        self.dump()

    def __iter__(self):
        return iter(self.content)

    def __len__(self):
        return len(self.content)

    def dump(self):
        ...

    def __getstate__(self):
        return (self.path, self.content)

    def __setstate__(self, state):
        self.path = state[0]
        self.content = state[1]

顺便说一句，使用 MutableMapping 父类(super class)的一大优点是，如果正确实现描述的方法，可以保证 in the documentation ，您的代码已准备好用于生产(因此，无需担心丢失精致的极端情况)。