python - 从不可变对象(immutable对象)读取时使用 multiprocessing.pool 映射时出错

Question

我正在尝试使用多处理 Pool 类将纯函数映射到一些不可变对象(immutable对象)上。然而，当我尝试运行它时，我在终端中看到大量错误(有时持续几分钟)，并且通常，python“必须以不寻常的方式终止”。我在 Windows (XP) 上运行，使用 python 3.2.2。

import multiprocessing

def do_stuff(v):
    return v.x + v.y

class Vector:
    __slots__ = ['x', 'y']

    def __setattr__(self, name, value):
        raise AttributeError("Cannot assign values to object {0} of type {1}".format(self, type(self)))

    def __init__(self, x, y = None):
        """Initialize an immutable x, y Vector"""
        object.__setattr__(self, 'x', x)
        object.__setattr__(self, 'y', y)

if __name__ == "__main__":
    todo = [Vector(1, 2), Vector(3, 4), Vector(-1, 12), Vector(16, 32), Vector(16, 32)]
    pool = multiprocessing.Pool(4)
    results = list(pool.map(do_stuff, todo))
    print(results)

预期输出:

[3, 7, 11, 48, 48]

错误数量非常多，但似乎可以归结为 pool.map 中尝试在 Vector 上设置属性的问题:

Process PoolWorker-1:
Traceback (most recent call last):
  File "c:\Python32\lib\multiprocessing\process.py", line 267, in _bootstrap
Process PoolWorker-2:
Traceback (most recent call last):
  File "c:\Python32\lib\multiprocessing\process.py", line 267, in _bootstrap
    self.run()
  File "c:\Python32\lib\multiprocessing\process.py", line 116, in run
    self._target(*self._args, **self._kwargs)
  File "c:\Python32\lib\multiprocessing\pool.py", line 102, in worker
    task = get()
  File "c:\Python32\lib\multiprocessing\queues.py", line 378, in get
    return recv()
  File "d:\Documents and Settings\Userdir\Scripts\temp\test.py", line 11, in __s
etattr__
    raise AttributeError("Cannot assign values to object {0} of type {1}".format
(self, type(self)))
AttributeError: Cannot assign values to object <__main__.Vector object at 0x00C2
BBB0> of type <class '__main__.Vector'>

我可以注释掉以 __slots__ 开头的行(奇怪？)，使用常规 map ，或者我可以使 Vector 类可变(注释掉 __setattr__ )，其中任何一个本身都会使其正常工作。

当我所做的只是从对象中读取数据时，为什么会尝试在我的对象上设置属性？

为什么删除__slots__来自对象导致它正常工作？

编辑:

我正在使用__slots__作为节省内存/空间的一种方式，因为我的程序中通常有大量向量。因此我无法从元组中导出向量: __slots__ do not work for classes derived from ''variable-length'' built-in types such as long, str and tuple

Answer 1

__slots__ 导致 multiprocessing 出现 unpickling 问题，例如 python multiprocessing pickle protocol

由于您不需要它来实现不变性(您的 __setattr__ 足以满足所有实际目的)，我建议您将其删除。

如果您确实需要它来节省空间，请实现 __getstate__和 __setstate__这可以解决 unpickling 问题。