python - 给定一个字典迭代器，得到字典

Question

给定一个列表迭代器，您可以通过 pickle 协议(protocol)找到原始列表:

>>> L = [1, 2, 3]
>>> Li = iter(L)
>>> Li.__reduce__()[1][0] is L
True

给定一个字典迭代器，你怎么能找到原始字典？我只能找到一种使用 CPython 实现细节的 hacky 方式(通过垃圾收集器):

>>> def get_dict(dict_iterator): 
...     [d] = gc.get_referents(dict_iterator) 
...     return d 
...
>>> d = {}
>>> get_dict(iter(d)) is d
True

Answer 1

没有 API 可以从迭代器中找到源可迭代对象。这是故意的，迭代器被视为一次性对象；迭代并丢弃。因此，一旦到达终点，它们通常会丢弃可迭代的引用；如果你不能得到更多的元素，那么保留它有什么意义呢？

您在 list 和 dict 迭代器中都看到了这一点，您发现的 hack 要么产生空对象，要么 None一旦你完成迭代。列表迭代器在腌制时使用空列表:

>>> l = [1]
>>> it = iter(l)
>>> it.__reduce__()[1][0] is l
True
>>> list(it)  # exhaust the iterator
[1]
>>> it.__reduce__()[1][0] is l
False
>>> it.__reduce__()[1][0]
[]

并且字典迭代器只是将指向原始字典的指针设置为空，因此之后就没有所指对象了:

>>> import gc
>>> it = iter({'foo': 42})
>>> gc.get_referents(it)
[{'foo': 42}]
>>> list(it)
['foo']
>>> gc.get_referents(it)
[]

你的两个黑客都是这样的:黑客。它们是依赖于实现的，并且可以并且可能会在 Python 版本之间发生变化。目前，使用 iter(dictionary).__reduce__()让你相当于 iter, list(copy(self))而不是访问字典，因为这被认为是一个更好的实现，但 future 的版本可能会使用完全不同的东西，等等。

对于字典，目前唯一可用的其他选项是访问 di_dict pointer in the dictiter struct , 使用 ctypes:

import ctypes

class PyObject_HEAD(ctypes.Structure):
    _fields_ = [
        ("ob_refcnt", ctypes.c_ssize_t),
        ("ob_type", ctypes.c_void_p),
    ]

class dictiterobject(ctypes.Structure):
    _fields_ = [
        ("ob_base", PyObject_HEAD),
        ("di_dict", ctypes.py_object),
        ("di_used", ctypes.c_ssize_t),
        ("di_pos", ctypes.c_ssize_t),
        ("di_result", ctypes.py_object),  # always NULL for dictkeys_iter
        ("len", ctypes.c_ssize_t),
    ]

def dict_from_dictiter(it):
    di = dictiterobject.from_address(id(it))
    try:
        return di.di_dict
    except ValueError:  # null pointer
        return None

这与依赖 gc.get_referents() 一样多。 :

>>> d = {'foo': 42}
>>> it = iter(d)
>>> dict_from_dictiter(it)
{'foo': 42}
>>> dict_from_dictiter(it) is d
True
>>> list(it)
['foo']
>>> dict_from_dictiter(it) is None
True

目前，至少在 Python 3.8 及之前的 CPython 版本中，没有其他可用选项。