- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我有一段代码被 pypy pickle,但是,pypy 添加了自己的操作码来扩展 cpython 操作码,它不能被 cpython 解包(引发 SystemError:未知操作码)。
由特殊操作码:LOOKUP_METHOD & CALL_METHOD引起,引用the pypy doc即可
我想知道如何让 pypy 生成完全标准的 cpython 字节码而不是自定义字节码。我查看了文档,找到了 PYTHONOPTIMIZE 环境变量,并将其设置为 0,但它不起作用。
附注我不能改变 unpickle 的一面,它必须是 cpython 2.7。
正如评论所说,cpython 不能 pickle 或 unpickle 代码对象,这是正确的。我正在使用 cloudpickle 库来 pickle 和 unpickle 函数对象,而在cloudpickle库中,代码对象可以被pickle。
问题是pypy中的co_code属性不一样,它包含仅在 pypy 中定义的特殊操作码。
我采用了@ecatmur 提供的方法,除了BUILD_LIST_FROM_ARG,其他都完美。
下面是我的代码:
class my_func(object):
def __init__(self, resources):
self.file_resource = resources[0]
self.table_resource = resources[1]
self.valid_ids = [int(l) for l in self.file_resource]
self.valid_ids.extend([int(l[0]) for l in self.table_resource]) # issue line
在 pypy 端修改 cloudpickle 之后,我在 cpython 端 unpikle:
c = pickle.loads('**the pypy pickled code**')
c([['0'], [['1']]])
但出现错误:
in __init__(self, resources)
453
454 self.valid_ids = [int(l) for l in self.file_resource]
--> 455 self.valid_ids.extend([int(l[0]) for l in self.table_resource])
456
457 def __call__(self, arg):
TypeError: 'int' object has no attribute '__getitem__'
我用dis.dis查了一下字节码,好有线,好像挺对的。
如果我用 cpython 进行 pickle,unpickle 的一面就可以正常工作。
对更新 2 有什么想法吗?
最佳答案
没有任何选项可以禁用LOOKUP_METHOD
优化;您可以尝试禁用 astcompiler.PythonCodeGenerator._optimize_method_call()
但我认为在你 pickle 时修补字节码会更安全。幸运的是,这很容易,因为操作码采用相同的参数并出现在相应的位置:
from cloudpickle import CloudPickler, PY3
import opcode
HAVE_ARGUMENT = opcode.HAVE_ARGUMENT
NOP = opcode.opmap['NOP']
LOOKUP_METHOD = opcode.opmap['LOOKUP_METHOD']
CALL_METHOD = opcode.opmap['CALL_METHOD']
LOAD_ATTR = opcode.opmap['LOAD_ATTR']
CALL_FUNCTION = opcode.opmap['CALL_FUNCTION']
BUILD_LIST_FROM_ARG = opcode.opmap['BUILD_LIST_FROM_ARG']
BUILD_LIST = opcode.opmap['BUILD_LIST']
ROT_TWO = opcode.opmap['ROT_TWO']
JUMP_IF_NOT_DEBUG = opcode.opmap['JUMP_IF_NOT_DEBUG']
JUMP_FORWARD = opcode.opmap['JUMP_FORWARD']
JUMP_ABSOLUTE = opcode.opmap['JUMP_ABSOLUTE']
def pypy_to_cpython(code):
code = [ord(c) for c in code]
i = 0
while i < len(code):
if code[i] == LOOKUP_METHOD:
code[i] = LOAD_ATTR
elif code[i] == CALL_METHOD:
code[i] = CALL_FUNCTION
elif code[i] == BUILD_LIST_FROM_ARG:
code[i:i + 3] = [JUMP_ABSOLUTE, len(code) % 256, len(code) // 256]
code.extend([BUILD_LIST, 0, 0, ROT_TWO,
JUMP_ABSOLUTE, (i + 3) % 256, (i + 3) // 256])
elif code[i] == JUMP_IF_NOT_DEBUG:
if __debug__:
code[i:i + 3] = [NOP, NOP, NOP]
else:
code[i] = JUMP_FORWARD
i += (3 if code[i] >= HAVE_ARGUMENT else 1)
return ''.join(chr(c) for c in code)
注意:还有 BUILD_LIST_FROM_ARG
和 JUMP_IF_NOT_DEBUG
。前者相当于 BUILD_LIST(0)
后跟 ROT_TWO
,而后者相当于 Debug模式下的空操作,以及 JUMP_FORWARD
当不处于 Debug模式时。这里的棘手一点是避免需要重新计算绝对跳转和行号的字节码位置;解决方法是将任何更长的字节码字符串附加到函数的末尾,然后跳转到那里并跳回。
然后子类化(或 monkey-patch)cloudpickle.CloudPickler
来调用您的操作码修补程序:
class MyPickler(CloudPickler):
dispatch = CloudPickler.dispatch.copy()
def save_codeobject(self, obj):
"""
Save a code object
"""
if PY3:
args = (
obj.co_argcount, obj.co_kwonlyargcount, obj.co_nlocals, obj.co_stacksize,
obj.co_flags, pypy_to_cpython(obj.co_code), obj.co_consts, obj.co_names, obj.co_varnames,
obj.co_filename, obj.co_name, obj.co_firstlineno, obj.co_lnotab, obj.co_freevars,
obj.co_cellvars
)
else:
args = (
obj.co_argcount, obj.co_nlocals, obj.co_stacksize, obj.co_flags, pypy_to_cpython(obj.co_code),
obj.co_consts, obj.co_names, obj.co_varnames, obj.co_filename, obj.co_name,
obj.co_firstlineno, obj.co_lnotab, obj.co_freevars, obj.co_cellvars
)
self.save_reduce(types.CodeType, args, obj=obj)
dispatch[types.CodeType] = save_codeobject
关于python - pypy pickled 不能被 cpython unpickled,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37827715/
如果您使用 -i 选项调用 cpython 解释器,它会在完成任何命令或脚本后进入交互模式。有没有办法在程序中让解释器执行此操作,即使它没有给出 -i?明显的用例是在异常情况发生时通过交互式检查状态进
我是按照官方cpython代码link here上的说明操作的.我做了一个 hg update 3.5 然后做了以下。 sudo apt-get build-dep python3.5 但它抛出了一个
我打算尝试使用 PyPy。但是我用 rust-cpython 编写的扩展(.so 文件)在使用 pypy3 执行时无法加载: ImportError: No module named 'pkg.lib
我试图配置预提交挂接,在运行预提交运行--所有文件时,我收到以下错误:。我已尝试升级pip以解决此问题pip安装--升级pip,但我收到另一个错误:。我尝试检查PIP和PIP3的版本,但现在我也收到了
我想为 android 创建电影下载应用程序以供学习。 为了方便开发,我想使用 youtube-dl 作为下载器后端。 所以我想将 Cpython 运行时和 ffmpeg(用于转换电影格式)嵌入到 A
我有一个 Windows fatal exception: code 0xc0000374 - 是的,有多处理(等待但是......)。 Google 表示异常代码 0xc0000374 表示堆损坏。
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它,visit the help center 。 已关
我刚刚成功编译了 C++ 类的 Python 包装器。但是,当我尝试将模块加载到 Python 时(通过 import cell),我收到以下消息: ImportError: dynamic modu
在我用 python 函数包装的一个 C++ 源文件中,有人包含了以下内容: namespace some_namespace { static double some_double; } flo
例如,0 STORE_NAME 0 (sys) 是import sys 指令的一部分。这种指令格式有任何文档吗?更何况,这种格式是Python的标准吗?还是具体实现? 最佳答案 即Python byt
我有这个故意不高效的代码: def suffix_array_alternative_naive(s): return [rank for suffix, rank in sorted((s[
应该如何编写 CPython 扩展,以便 pydoc 提及参数名称而不是 (...)? 我关注了 official python tutorial about extending Python ,甚至
我正在尝试在运行 Raspbian Jessie 的 Raspberry Pi 上从源代码构建和安装 python 3.6.2。以下是构建过程的过程: $ ./configure --enable-o
GAE 有各种限制,其中之一是最大的可分配内存块大小为 1Mb(现在是 10 倍,但这并没有改变问题)。这一限制意味着不能在 list() 中放置超过一定数量的项目,因为 CPython 会尝试为元素
我和一个 friend 聊天,比较语言,他提到 Java 的自动内存管理优于 Python,因为 Java 有压缩,而 Python 没有——因此对于长时间运行的服务器,Python 是一个糟糕的选择
我一直在深入研究源代码,以找出打印结果的时间点。例如: >>> x = 1 >>> x + 2 3 以上两条语句编译为: 1 0 LOAD_CONST
我最近在生产系统中发现了一个潜在的错误,其中两个字符串使用身份运算符进行比较,例如: if val[2] is not 's': 我想这无论如何都会经常起作用,因为据我所知,CPython 将短的不可
Python 允许字符串乘以整数: >>> 'hello' * 5 'hellohellohellohellohello' 这是如何在 CPython 中实现的? 我特别感谢指向源代码的指针; the
我正在阅读 this page在文档中,并注意到它说 This is the full Python grammar, as it is read by the parser generator an
我目前正在制作 CPython 3.0 Python 解释器的嵌入式系统端口,我对任何引用资料或文档特别感兴趣,这些引用资料或文档提供有关版本 3.0 的代码设计和结构的详细信息,甚至是任何2.x 版
我是一名优秀的程序员,十分优秀!