- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在尝试使用 map_async
在类方法上,我收到此错误: PicklingError: Can't pickle <type 'thread.lock'>: attribute lookup thread.lock failed
我的代码:
def _pickle_method(method):
func_name = method.im_func.__name__
obj = method.im_self
cls = method.im_class
cls_name = ''
if func_name.startswith('__') and not func_name.endswith('__'):
cls_name = cls.__name__.lstrip('_')
if cls_name:
func_name = '_' + cls_name + func_name
return _unpickle_method, (func_name, obj, cls)
def _unpickle_method(func_name, obj, cls):
for cls in cls.mro():
try:
func = cls.__dict__[func_name]
except KeyError:
pass
else:
break
return func.__get__(obj, cls)
copy_reg.pickle(types.MethodType, _pickle_method, _unpickle_method)
class MyClass(object):
def Submit(self,cmd):
subprocess.call(cmd, shell=True)
def RunTest(self):
cmds = []
for i in range(50):
cmd = CreateCmd(self)
cmds.append(cmd)
self.pool.map_async(self.Submit, cmds)
def Main(self):
self.pool = mp.pool
while True:
RunTest(self)
if __name__ == "__main__":
MyClass()
当Submit
在它工作的类(class)之外,但像这样我得到了错误。还有,MyClass
还有一些我没有写的方法和属性,其中一个是记录器,这可能是问题所在吗?
最佳答案
所以我用一些替代导入构建了您的代码,特别是 dill
而不是 pickle
。我还使用了一个名为 pathos.multiprocessing
的 multiprocessing
分支,它使用了 dill
。我可以 pickle 你的类方法和绑定(bind)方法。我忽略了你教 copy_reg
如何 pickle 模块的整个部分,因为 dill
已经可以做到这一点。
我不得不对您的代码进行一些修改,嗯,因为它不起作用。我还必须制作一个 CreateCmd 函数,因为您没有提供。此外,此代码按原样将启动多处理作业……但您永远不会得到结果,因为您没有要求它们。你到底想做什么?
无论如何,这里有一些代码与您的代码相似,但可以正常工作。它仍然没有给你任何有值(value)的结果,除了表明它 pickles 和代码运行。请发布可以运行的代码,并将抛出您报告的错误。
>>> import dill as pickle
>>> import subprocess
>>> from pathos.multiprocessing import ProcessingPool as Pool
>>>
>>> def CreateCmd(cmd):
... return 'sleep {0}'.format(cmd)
>>>
>>> class MyClass(object):
... def Submit(self, cmd):
... subprocess.call(cmd, shell=True)
... def RunTest(self):
... cmds = []
... for i in range(50):
... cmd = CreateCmd(i)
... cmds.append(cmd)
... self.pool.amap(self.Submit, cmds) # equivalent to map_async
... def Main(self):
... self.pool = Pool()
... self.RunTest()
...
>>> pickle.loads(pickle.dumps(MyClass))
<class '__main__.MyClass'>
>>> pickle.loads(pickle.dumps(MyClass.RunTest))
<unbound method MyClass.RunTest>
>>> x = MyClass()
>>> pickle.loads(pickle.dumps(x.RunTest))
<bound method MyClass.RunTest of <__main__.MyClass object at 0x10d015b10>>
>>> x.Main()
>>> x.Submit('sleep 1')
>>> # use get to get the result… so 'sleep' is felt by the script
>>> res = x.pool.amap(x.Submit, (CreateCmd(i) for i in range(10)))
>>> res.get()
[None, None, None, None, None, None, None, None, None, None]
无论如何,如果您想要dill
或pathos
,您可以在:https://github.com/uqfoundation 获得它们。
顺便说一句,如果你想 pickle 一个线程锁,你也可以这样做。
>>> import dill as pickle
>>> import threading
>>> lock = threading.Lock()
>>>
>>> pickle.loads(pickle.dumps(lock))
<thread.lock object at 0x10c534650>
关于python - 使用 python multiprocess.pool.map_async() 时无法 pickle <type 'thread.lock'>,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22529592/
假设我有一个 A 类和一个派生自 A 的 B 类。我想 pickle/unpickle B 类的一个实例。A 和 B 都定义了 __getstate__/__setstate__ 方法(假设 A
似乎有两种方法可以将指标推向 Graphite /碳, 线路接收器 pickle 接收器 根据文档 http://graphite.readthedocs.org/en/1.0/feeding-car
Perforce命令行有一个特殊的开关-G,它使用python的“pickle”序列化格式可以使输出成为机器可读的。一般来说,实际上是这样吗? 例如,考虑p4 -G diff -duw3 的输出。
如何从 BytesIO 对象写入和读回 pickled 数据? 我尝试过: import io import cPickle as pickle s1 = "foo" bytes_io = io.By
我有两个文件: x.py class BF(object) def __init__(): . . def add(self,z): . . y.py from y
在 post昨天发帖,无意中发现改了__qualname__函数对 pickle 有意想不到的影响.通过运行更多测试,我发现在对函数进行 pickle 时,pickle不像我想的那样工作,改变 __q
为什么 pickle 重用现有的 Python 类“C”而不是从 pickle 字节重建类?有没有一种方法可以在没有副作用的情况下 pickle 和解 pickle ? 这是我的回复 session
我使用 mpi4py 将一些计算拆分到多个过程中。基本上我只是计算一些凸包的体积,这是我使用 tvtk 和 mayavi 创建的。 只有第一个过程导入这些库: ... if rank==0: f
我正在用 pygame 制作一个绘图程序,我想在其中为用户提供一个选项来保存程序的确切状态,然后在稍后重新加载它。在这一点上,我保存了我的全局字典的副本,然后遍历, pickle 每个对象。 pyga
所以,我有一个对象,里面有很多不可 pickle 的东西(pygame 事件、orderedDicts、时钟等),我需要将它保存到磁盘。 事情是,如果我可以让这个东西存储一个有进度的字符串(我只需要一
import pickle variety = ["sweet", "box", "cat"] shape = ["back","spear", "log"] pickleFile = open("
我有一个关于 gensim 的问题。我想知道在保存或加载模型(或多个模型)时是否建议或需要使用 pickle,因为我在 GitHub 上找到了可以使用的脚本。 mymodel = Doc2Vec(do
我正在使用 python3.6/。我使用 protocol=pickle.HIGHEST_PROTOCOL pickle 了我的文件 当我按如下方式加载时: with open('data.sav',
给定一个像这样的任意Pythonic对象: class ExampleObj(object): def __init__(self): self.a = 'a'
简介 我有一本具有以下格式的字典: dict_list = {'S0':[[list of int],[list of int]], 'S1':[[list of int],[list of int]
我想知道这个错误可能意味着什么: PicklingError: Can't pickle : attribute lookup __builtin__.function failed 我理解这与使用多
我对 python 变量持久性有点困惑,在我的代码中,我使用以下代码使模型参数在某些迭代期间持久化 with open('W_Hs_Hu_iter'+str(inx)+'.pickle', 'wb'
当对象通过其属性之一引用自身时,从带有插槽的类中挑选对象的正确方法是什么?这是一个简单的示例,使用我当前的实现,我不确定它是否 100% 正确: import weakref import pickl
我有数千个长 (8640) 整数列表元组。例如: type(l1) tuple len(l1) 2 l1[0][:10] [0, 31, 23, 0, 0, 0, 0, 0, 0, 0] l1[1][
我有一个对象 gui_project,它有一个属性 .namespace,这是一个命名空间字典。 (即从字符串到对象的字典。) (这在类似 IDE 的程序中使用,让用户在 Python shell 中
我是一名优秀的程序员,十分优秀!