python - 函数内部多处理 scipy 优化的奇怪行为

Question

这是一个运行良好的简单代码。即使函数 minimize 包装了 scipy.optimize.minimize 它也不会提示酸洗

import numpy as np
from scipy import optimize
from multiprocessing import Pool

def square(x):
    return np.sum(x**2+ 2*x)

def minimize(args):
    f,x = args
    res = optimize.minimize(f, x, method = 'L-BFGS-B')
    return res.x

x = np.random.rand(8,10)

args = [(square,x[i]) for i in range(8)]
p = Pool(8)
p.map(minimize,args)

但是，如果尝试以下操作会失败并出现 pickling 错误

PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed

def run():
    def square(x):
        return np.sum(x**2+ 2*x)

    def minimize(args):
        f,x = args
        res = optimize.minimize(f, x, method = 'L-BFGS-B')
        return res.x

    x = np.random.rand(8,10)

    args = [(square,x[i]) for i in range(8)]
    p = Pool(8)
    p.map(minimize,args)

run()

我想制作一个模块来并行使用 scipy minimize 和许多初始猜测。但是，如示例所示，当我将其设为模块时，它失败了。

Answer 1

问题是 Python 不能 pickle 嵌套函数，在你的第二个例子中，你试图将嵌套的 minimize 和 square 函数传递给你的子进程，这需要酸洗。

如果没有理由必须嵌套这两个函数，将它们移动到模块的顶层将解决问题。您还可以查看 this question用于 pickle 嵌套函数的技术。