python - 多进程并行距离计算方法

Question

此问题与 other one 有关我几天前发帖了；我读过 this question关于与 multiprocessing 使用实例方法酸洗相关的问题。问题是我不明白如何将提供的解决方案应用到我的案例中:

def _pickle_method(method):
    # Author: Steven Bethard
    # http://bytes.com/topic/python/answers/552476-why-cant-you-pickle-instancemethods
    func_name = method.im_func.__name__
    obj = method.im_self
    cls = method.im_class
    cls_name = ''
    if func_name.startswith('__') and not func_name.endswith('__'):
        cls_name = cls.__name__.lstrip('_')
    if cls_name:
        func_name = '_' + cls_name + func_name
    return _unpickle_method, (func_name, obj, cls)

def _unpickle_method(func_name, obj, cls):
    # Author: Steven Bethard
    # http://bytes.com/topic/python/answers/552476-why-cant-you-pickle-instancemethods
    for cls in cls.mro():
        try:
            func = cls.__dict__[func_name]
        except KeyError:
            pass
        else:
            break
    return func.__get__(obj, cls)

copy_reg.pickle(types.MethodType, _pickle_method, _unpickle_method)

class Circle(Feature):
# Stuff...
    def __points_distance(self,points):
        xa = n.array([self.xc,self.yc]).reshape((1,2))
        d = n.abs(dist.cdist(points,xa) - self.radius)
        return d

def points_distance(self,points,pool=None):
    if pool:
        return pool.map(self.__points_distance,points)
    else:
        return self.__points_distance(points)

运行时出现 ValueError: XA must be a 2-dimensional array 错误:

import tra.features as fts
import numpy as np
import multiprocessing as mp

points = np.random.random(size=(1000,2))
circle_points = np.random.random(size=(3,2))

feature = fts.Circle(circle_points)

pool = mp.Pool()
ds = feature.points_distance(points,pool=pool)

但它(显然)在做时起作用:

pool = None
ds = feature.points_distance(points,pool=pool)

有什么线索吗？

这不同于this (我检查了 this 实现)因为该方法在另一个实例化 Circle 类并调用其 points_distance 方法的类中使用。在任何情况下，另一个区别是 points_distance 方法使用 scipy.spatial.distance.cdist 期望 (n,2)-shaped numpy.ndarray .它在使用串行版本时有效，但在并行使用时引发我提到的异常。我想有一个关于 cPickle 参数传递的警告。

Answer 1

我认为这里有很多困惑，所以我不确定我是否理解这个问题。

异常 NameError: global name 'pool' is not defined 不是由于酸洗问题而是由于范围问题。

该方法在其范围内找不到 pool。尝试通过将 pool 引用传递给该方法来修复它。

其他:

pool = mp.Pool(mp.cpu_count())

cpu_count() 调用是多余的，因为默认情况下池已经产生了与您拥有的 CPU 一样多的工作线程。