python - list(dict.items()) 是线程安全的吗？

Question

是list(d.items())的用法吗？在下面的例子中安全吗？

import threading

n = 2000

d = {}

def dict_to_list():
    while True:
        list(d.items())  # is this safe to do?

def modify():
    for i in range(n):
        d[i] = i

if __name__ == "__main__":
    t1 = threading.Thread(target=dict_to_list, daemon=True)
    t1.start()

    t2 = threading.Thread(target=modify, daemon=True)
    t2.start()
    t2.join()

这个问题背后的背景是，字典项 View 上的迭代器在每一步检查字典大小是否发生变化，如下例所示。

d = {}
view = d.items()  # this is an iterable
it = iter(view)  # this is an iterator
d[1] = 1
print(list(view))  # this is ok, it prints [(1, 1)]
print(list(it))  # this raises a RuntimeError because the size of the dictionary changed

所以如果调用 list(...)在上面的第一个示例中可以中断(即线程 t1 可以释放 GIL)，第一个示例可能导致线程 t1 中发生 RuntimeErrors .有消息来源声称该操作不是原子操作，请参阅 here .但是，我无法让第一个示例崩溃。
我知道在这里做的安全的事情是使用一些锁而不是试图依赖某些操作的原子性。但是，我正在使用类似代码的第​​三方库中调试一个问题，并且我不一定要直接更改。

Answer 1

简短的回答:可能没问题，但无论如何都要使用锁。
使用 dis 你可以看到list(d.items())实际上是两个字节码指令( 6 和 8 ):

>>> import dis
>>> dis.dis("list(d.items())")
  1           0 LOAD_NAME                0 (list)
              2 LOAD_NAME                1 (d)
              4 LOAD_METHOD              2 (items)
              6 CALL_METHOD              0
              8 CALL_FUNCTION            1
             10 RETURN_VALUE

在 Python FAQ 中，它说(通常)用 C 实现的东西是原子的(从正在运行的 Python 程序的角度来看):

What kinds of global value mutation are thread-safe?

In general, Python offers to switch among threads only between bytecode instructions; [...]. Each bytecode instruction and therefore all the C implementation code reached from each instruction is therefore atomic from the point of view of a Python program.

[...]

For example, the following operations are all atomic [...]

D.keys()

list() is implemented in C和 d.items() is implemented in C所以每个都应该是原子的，除非它们最终以某种方式调用 Python 代码(如果它们调用了一个你使用 Python 实现覆盖的 dunder 方法，就会发生这种情况)或者如果你正在使用 dict 的子类而不是真正的 dict或者如果他们的 C 实现 releases the GIL .它是 not a good idea依靠它们是原子的。
你提到 iter()如果其底层可迭代更改大小，则会出错，但这与此处无关，因为 .keys() , .values()和 .items()返回 view object并且那些对底层对象更改没有问题:

d = {"a": 1, "b": 2}
view = d.items()
print(list(view))  # [("a", 1), ("b", 2)]
d["c"] = 3         # this could happen in a different thread
print(list(view))  # [("a", 1), ("b", 2), ("c", 3)]

如果您一次在多个指令中修改 dict，有时会得到 d处于不一致的状态，其中一些已经进行了修改，有些还没有，但你不应该得到 RuntimeError就像你对 iter() 所做的那样, 除非您以非原子的方式对其进行修改。