具有多处理功能的 Python 装饰器失败

Question

我想在随后传递给多处理池的函数上使用装饰器。但是，代码失败并显示“PicklingError:无法腌制:属性查找 __builtin__.function failed”。我不太明白为什么它在这里失败了。我确信这很简单，但我找不到。下面是一个最小的“工作”示例。我认为使用 functools 函数就足以让它工作了。

如果我注释掉函数装饰，它可以正常工作。我在这里误解了 multiprocessing 是什么？有什么方法可以使它起作用吗？

编辑:在添加可调用类装饰器和函数装饰器之后，函数装饰器按预期工作。可调用类装饰器继续失败。可调用类版本如何防止它被 pickle？

import random
import multiprocessing
import functools

class my_decorator_class(object):
    def __init__(self, target):
        self.target = target
        try:
            functools.update_wrapper(self, target)
        except:
            pass

    def __call__(self, elements):
        f = []
        for element in elements:
            f.append(self.target([element])[0])
        return f

def my_decorator_function(target):
    @functools.wraps(target)
    def inner(elements):
        f = []
        for element in elements:
            f.append(target([element])[0])
        return f
    return inner

@my_decorator_function
def my_func(elements):
    f = []
    for element in elements:
        f.append(sum(element))
    return f

if __name__ == '__main__':
    elements = [[random.randint(0, 9) for _ in range(5)] for _ in range(10)]
    pool = multiprocessing.Pool(processes=4)
    results = [pool.apply_async(my_func, ([e],)) for e in elements]
    pool.close()
    f = [r.get()[0] for r in results]
    print(f)

Answer 1

问题是 pickle 需要有一些方法来重新组装你 pickle 的所有东西。请参阅此处以获取可以腌制的内容的列表:

http://docs.python.org/library/pickle.html#what-can-be-pickled-and-unpickled

在对my_func进行酸洗时，需要对以下组件进行酸洗:

• my_decorator_class 的实例，称为 my_func。

  这很好。 Pickle 将存储类的名称并对其 __dict__ 内容进行 pickle。 unpickling 时，它使用名称查找类，然后创建一个实例并填充 __dict__ 内容。但是，__dict__ 内容存在问题...

• 存储在 my_func.target 中的原始 my_func 的实例。

  这不是很好。这是顶层的功能，通常这些可以被腌制。 Pickle 将存储函数的名称。然而，问题是名称“my_func”不再绑定(bind)到未修饰函数，而是绑定(bind)到修饰函数。这意味着 pickle 将无法查找未修饰的函数来重新创建对象。遗憾的是，pickle 无法知道它试图 pickle 的对象总是可以在名称 __main__.my_func 下找到。

你可以像这样改变它，它会起作用:

import random
import multiprocessing
import functools

class my_decorator(object):
    def __init__(self, target):
        self.target = target
        try:
            functools.update_wrapper(self, target)
        except:
            pass

    def __call__(self, candidates, args):
        f = []
        for candidate in candidates:
            f.append(self.target([candidate], args)[0])
        return f

def old_my_func(candidates, args):
    f = []
    for c in candidates:
        f.append(sum(c))
    return f

my_func = my_decorator(old_my_func)

if __name__ == '__main__':
    candidates = [[random.randint(0, 9) for _ in range(5)] for _ in range(10)]
    pool = multiprocessing.Pool(processes=4)
    results = [pool.apply_async(my_func, ([c], {})) for c in candidates]
    pool.close()
    f = [r.get()[0] for r in results]
    print(f)

---

您已经观察到装饰器函数在类不起作用时起作用。我相信这是因为 functools.wraps 修改了装饰函数，使其具有它包装的函数的名称和其他属性。就 pickle 模块而言，它与普通的顶级函数没有区别，因此它通过存储其名称来 pickle。 unpickling 后，名称将绑定(bind)到装饰函数，因此一切正常。