gpt4 book ai didi

python - 使用 python multiprocess.pool.map_async() 时无法 pickle

转载 作者:太空宇宙 更新时间:2023-11-04 01:19:00 24 4
gpt4 key购买 nike

我正在尝试使用 map_async在类方法上,我收到此错误: PicklingError: Can't pickle <type 'thread.lock'>: attribute lookup thread.lock failed我的代码:

def _pickle_method(method):
func_name = method.im_func.__name__
obj = method.im_self
cls = method.im_class
cls_name = ''
if func_name.startswith('__') and not func_name.endswith('__'):
cls_name = cls.__name__.lstrip('_')
if cls_name:
func_name = '_' + cls_name + func_name
return _unpickle_method, (func_name, obj, cls)

def _unpickle_method(func_name, obj, cls):
for cls in cls.mro():
try:
func = cls.__dict__[func_name]
except KeyError:
pass
else:
break
return func.__get__(obj, cls)

copy_reg.pickle(types.MethodType, _pickle_method, _unpickle_method)

class MyClass(object):
def Submit(self,cmd):
subprocess.call(cmd, shell=True)

def RunTest(self):
cmds = []
for i in range(50):
cmd = CreateCmd(self)
cmds.append(cmd)
self.pool.map_async(self.Submit, cmds)

def Main(self):
self.pool = mp.pool
while True:
RunTest(self)

if __name__ == "__main__":
MyClass()

Submit在它工作的类(class)之外,但像这样我得到了错误。还有,MyClass还有一些我没有写的方法和属性,其中一个是记录器,这可能是问题所在吗?

最佳答案

所以我用一些替代导入构建了您的代码,特别是 dill 而不是 pickle。我还使用了一个名为 pathos.multiprocessingmultiprocessing 分支,它使用了 dill。我可以 pickle 你的类方法和绑定(bind)方法。我忽略了你教 copy_reg 如何 pickle 模块的整个部分,因为 dill 已经可以做到这一点。

我不得不对您的代码进行一些修改,嗯,因为它不起作用。我还必须制作一个 CreateCmd 函数,因为您没有提供。此外,此代码按原样将启动多处理作业……但您永远不会得到结果,因为您没有要求它们。你到底想做什么?

无论如何,这里有一些代码与您的代码相似,但可以正常工作。它仍然没有给你任何有值(value)的结果,除了表明它 pickles 和代码运行。请发布可以运行的代码,并将抛出您报告的错误。

>>> import dill as pickle
>>> import subprocess
>>> from pathos.multiprocessing import ProcessingPool as Pool
>>>
>>> def CreateCmd(cmd):
... return 'sleep {0}'.format(cmd)
>>>
>>> class MyClass(object):
... def Submit(self, cmd):
... subprocess.call(cmd, shell=True)
... def RunTest(self):
... cmds = []
... for i in range(50):
... cmd = CreateCmd(i)
... cmds.append(cmd)
... self.pool.amap(self.Submit, cmds) # equivalent to map_async
... def Main(self):
... self.pool = Pool()
... self.RunTest()
...
>>> pickle.loads(pickle.dumps(MyClass))
<class '__main__.MyClass'>
>>> pickle.loads(pickle.dumps(MyClass.RunTest))
<unbound method MyClass.RunTest>
>>> x = MyClass()
>>> pickle.loads(pickle.dumps(x.RunTest))
<bound method MyClass.RunTest of <__main__.MyClass object at 0x10d015b10>>
>>> x.Main()
>>> x.Submit('sleep 1')
>>> # use get to get the result… so 'sleep' is felt by the script
>>> res = x.pool.amap(x.Submit, (CreateCmd(i) for i in range(10)))
>>> res.get()
[None, None, None, None, None, None, None, None, None, None]

无论如何,如果您想要dillpathos,您可以在:https://github.com/uqfoundation 获得它们。

顺便说一句,如果你想 pickle 一个线程锁,你也可以这样做。

>>> import dill as pickle
>>> import threading
>>> lock = threading.Lock()
>>>
>>> pickle.loads(pickle.dumps(lock))
<thread.lock object at 0x10c534650>

关于python - 使用 python multiprocess.pool.map_async() 时无法 pickle <type 'thread.lock'>,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22529592/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com