python - 将 sympy lambda 传递给 multiprocessing.Pool.map

Question

我想并行执行一个 sympy lambda 函数。我不知道:

• 为什么它是一个 lambda 函数，但它是并行工作的
• 为什么当我尝试在没有池的情况下执行时它停止工作
• 为什么如果我取消注释 lambdify 中的第一个返回值会起作用

显然 markdown 预处理器需要在代码上方添加一行文本，所以这是代码:

from multiprocessing import Pool

import sympy
from sympy.abc import x

def f(m):
    return m.lambdify()(1)

class Mult():
    def lambdify(self):
        # return sympy.lambdify(x, 2*x, 'numpy')
        self._lambdify = sympy.lambdify(x, 2 * x, 'numpy')
        return self._lambdify

if __name__ == '__main__':
    with Pool() as pool:
        m = Mult()
        print(pool.map(f, [m]))
        print(pool.map(f, [m]))
        print(f(m))
        print(pool.map(f, [m]))

它打印:

[2]
[2]
2
PicklingError: Can't pickle <function <lambda> at 0x000000000DF0D048>: attribute lookup <lambda> on numpy failed

(我切断了回溯)

如果我取消注释，它会正常工作:

[2]
[2]
2
[2]

我只在 Windows 上测试过，它与“numexpr”而不是“numpy”完全一样。

Answer 1

Mult 对象在创建时没有字段。因此，它可以用常用的 pickle 库进行腌制。然后，当您调用 lambdify 时，您将 _lambdify 属性添加到包含 lambda 表达式的对象，该表达式不能被 pickle。这会导致 map 函数失败

这解释了为什么在调用 lambdify 之前您可以 pickle 对象并使用 Pool.map 以及为什么它在调用之后失败。当您取消注释 lambdify 中的行时，您不会将属性添加到类中，并且 Mult 对象在调用 lambdify 后仍然可以被 pickled .