gpt4 book ai didi

python - pypy pickled 不能被 cpython unpickled

转载 作者:太空宇宙 更新时间:2023-11-04 03:11:42 26 4
gpt4 key购买 nike

我有一段代码被 pypy pickle,但是,pypy 添加了自己的操作码来扩展 cpython 操作码,它不能被 cpython 解包(引发 SystemError:未知操作码)。

由特殊操作码:LOOKUP_METHOD & CALL_METHOD引起,引用the pypy doc即可

我想知道如何让 pypy 生成完全标准的 cpython 字节码而不是自定义字节码。我查看了文档,找到了 PYTHONOPTIMIZE 环境变量,并将其设置为 0,但它不起作用。

附注我不能改变 unpickle 的一面,它必须是 cpython 2.7。

更新1

正如评论所说,cpython 不能 pickle 或 unpickle 代码对象,这是正确的。我正在使用 cloudpickle 库来 pickle 和 unpickle 函数对象,而在cloudpickle库中,代码对象可以被pickle。

问题是pypy中的co_code属性不一样,它包含仅在 pypy 中定义的特殊操作码。

更新2

我采用了@ecatmur 提供的方法,除了BUILD_LIST_FROM_ARG,其他都完美。

下面是我的代码:

class my_func(object):
def __init__(self, resources):
self.file_resource = resources[0]
self.table_resource = resources[1]

self.valid_ids = [int(l) for l in self.file_resource]
self.valid_ids.extend([int(l[0]) for l in self.table_resource]) # issue line

在 pypy 端修改 cloudpickle 之后,我在 cpython 端 unpikle:

c = pickle.loads('**the pypy pickled code**')
c([['0'], [['1']]])

但出现错误:

in __init__(self, resources)
453
454 self.valid_ids = [int(l) for l in self.file_resource]
--> 455 self.valid_ids.extend([int(l[0]) for l in self.table_resource])
456
457 def __call__(self, arg):

TypeError: 'int' object has no attribute '__getitem__'

我用dis.dis查了一下字节码,好有线,好像挺对的。

如果我用 cpython 进行 pickle,unpickle 的一面就可以正常工作。

对更新 2 有什么想法吗?

最佳答案

没有任何选项可以禁用LOOKUP_METHOD 优化;您可以尝试禁用 astcompiler.PythonCodeGenerator._optimize_method_call()但我认为在你 pickle 时修补字节码会更安全。幸运的是,这很容易,因为操作码采用相同的参数并出现在相应的位置:

from cloudpickle import CloudPickler, PY3
import opcode

HAVE_ARGUMENT = opcode.HAVE_ARGUMENT
NOP = opcode.opmap['NOP']
LOOKUP_METHOD = opcode.opmap['LOOKUP_METHOD']
CALL_METHOD = opcode.opmap['CALL_METHOD']
LOAD_ATTR = opcode.opmap['LOAD_ATTR']
CALL_FUNCTION = opcode.opmap['CALL_FUNCTION']
BUILD_LIST_FROM_ARG = opcode.opmap['BUILD_LIST_FROM_ARG']
BUILD_LIST = opcode.opmap['BUILD_LIST']
ROT_TWO = opcode.opmap['ROT_TWO']
JUMP_IF_NOT_DEBUG = opcode.opmap['JUMP_IF_NOT_DEBUG']
JUMP_FORWARD = opcode.opmap['JUMP_FORWARD']
JUMP_ABSOLUTE = opcode.opmap['JUMP_ABSOLUTE']

def pypy_to_cpython(code):
code = [ord(c) for c in code]
i = 0
while i < len(code):
if code[i] == LOOKUP_METHOD:
code[i] = LOAD_ATTR
elif code[i] == CALL_METHOD:
code[i] = CALL_FUNCTION
elif code[i] == BUILD_LIST_FROM_ARG:
code[i:i + 3] = [JUMP_ABSOLUTE, len(code) % 256, len(code) // 256]
code.extend([BUILD_LIST, 0, 0, ROT_TWO,
JUMP_ABSOLUTE, (i + 3) % 256, (i + 3) // 256])
elif code[i] == JUMP_IF_NOT_DEBUG:
if __debug__:
code[i:i + 3] = [NOP, NOP, NOP]
else:
code[i] = JUMP_FORWARD
i += (3 if code[i] >= HAVE_ARGUMENT else 1)
return ''.join(chr(c) for c in code)

注意:还有 BUILD_LIST_FROM_ARGJUMP_IF_NOT_DEBUG。前者相当于 BUILD_LIST(0) 后跟 ROT_TWO,而后者相当于 Debug模式下的空操作,以及 JUMP_FORWARD处于 Debug模式时。这里的棘手一点是避免需要重新计算绝对跳转和行号的字节码位置;解决方法是将任何更长的字节码字符串附加到函数的末尾,然后跳转到那里并跳回。

然后子类化(或 monkey-patch)cloudpickle.CloudPickler 来调用您的操作码修补程序:

class MyPickler(CloudPickler):
dispatch = CloudPickler.dispatch.copy()

def save_codeobject(self, obj):
"""
Save a code object
"""
if PY3:
args = (
obj.co_argcount, obj.co_kwonlyargcount, obj.co_nlocals, obj.co_stacksize,
obj.co_flags, pypy_to_cpython(obj.co_code), obj.co_consts, obj.co_names, obj.co_varnames,
obj.co_filename, obj.co_name, obj.co_firstlineno, obj.co_lnotab, obj.co_freevars,
obj.co_cellvars
)
else:
args = (
obj.co_argcount, obj.co_nlocals, obj.co_stacksize, obj.co_flags, pypy_to_cpython(obj.co_code),
obj.co_consts, obj.co_names, obj.co_varnames, obj.co_filename, obj.co_name,
obj.co_firstlineno, obj.co_lnotab, obj.co_freevars, obj.co_cellvars
)
self.save_reduce(types.CodeType, args, obj=obj)
dispatch[types.CodeType] = save_codeobject

关于python - pypy pickled 不能被 cpython unpickled,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37827715/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com