- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
根据 StackOverflow 上的许多建议(例如 dill、cloudpickle 等),我尝试了多种方法来 pickle 带有依赖项的 python 函数,但所有方法似乎都遇到了一个我无法弄清楚的基本问题。
我有一个主模块试图从一个导入的模块中 pickle 一个函数,通过 ssh 发送它以在远程机器上进行 unpickled 和执行。
所以 main 有:
import dill (for example)
import modulea
serial=dill.dumps( modulea.func )
send (serial)
在远程机器上:
import dill
receive serial
funcremote = dill.loads( serial )
funcremote()
如果被 pickle 和发送的函数是 main 本身定义的顶级函数,那么一切正常。当它们在导入的模块中时,加载函数失败并显示“找不到模块模块”类型的消息。
模块名称似乎与函数名称一起被 pickle。我没有看到任何方法来“修复”pickle 以删除依赖项,或者在接收器中创建一个虚拟模块以成为 unpickling 的接收者。
任何指点将不胜感激。
--普拉萨纳
最佳答案
我是 dill
的作者。我通过 ssh
做了这件事,但成功了。目前,dill
和任何其他序列化程序通过引用来 pickle 模块……因此要成功传递文件中定义的函数,您必须确保相关模块也安装在另一台机器上。我不相信有任何对象序列化程序可以直接序列化模块(即不通过引用)。
话虽如此,dill
确实有一些选项可以序列化对象依赖项。例如,对于类实例,dill
中的默认设置是不通过引用序列化类实例……因此类定义也可以序列化并与实例一起发送。在 dill
中,您还可以(使用一个非常新的功能)通过序列化文件来序列化文件句柄,而不是通过引用这样做。但是同样,如果您遇到在模块中定义函数的情况,那您就不走运了,因为模块是通过引用序列化的,非常普遍。
您也许可以使用 dill
来这样做,但是,只是不对对象进行 pickle ,而是提取源代码并发送源代码。在pathos.pp
和pyina
中,我们使用dill
提取源 和依赖项 任何对象(包括函数),并将它们传递给另一台计算机/进程/等。然而,由于这不是一件容易的事,dill
也可以使用尝试提取相关导入并发送它而不是源代码的故障转移。
希望您能理解,这是一件很麻烦的事情(正如我在下面提取的函数的一个依赖项中所指出的)。但是,您所要求的是在 pathos
包中成功完成,以通过 ssh 隧道端口将代码和依赖项传递到不同的机器。
>>> import dill
>>>
>>> print dill.source.importable(dill.source.importable)
from dill.source import importable
>>> print dill.source.importable(dill.source.importable, source=True)
def _closuredsource(func, alias=''):
"""get source code for closured objects; return a dict of 'name'
and 'code blocks'"""
#FIXME: this entire function is a messy messy HACK
# - pollutes global namespace
# - fails if name of freevars are reused
# - can unnecessarily duplicate function code
from dill.detect import freevars
free_vars = freevars(func)
func_vars = {}
# split into 'funcs' and 'non-funcs'
for name,obj in list(free_vars.items()):
if not isfunction(obj):
# get source for 'non-funcs'
free_vars[name] = getsource(obj, force=True, alias=name)
continue
# get source for 'funcs'
#…snip… …snip… …snip… …snip… …snip…
# get source code of objects referred to by obj in global scope
from dill.detect import globalvars
obj = globalvars(obj) #XXX: don't worry about alias?
obj = list(getsource(_obj,name,force=True) for (name,_obj) in obj.items())
obj = '\n'.join(obj) if obj else ''
# combine all referred-to source (global then enclosing)
if not obj: return src
if not src: return obj
return obj + src
except:
if tried_import: raise
tried_source = True
source = not source
# should never get here
return
我想也可以围绕 dill.detect.parents
方法构建一些东西,该方法提供指向任何给定对象的所有父对象的指针列表……并且可以重建所有函数的依赖项作为对象……但这没有实现。
顺便说一句:要建立 ssh 隧道,只需这样做:
>>> t = pathos.Tunnel.Tunnel()
>>> t.connect('login.university.edu')
39322
>>> t
Tunnel('-q -N -L39322:login.university.edu:45075 login.university.edu')
然后您可以使用 ZMQ
或 ssh
或其他任何方式跨本地端口工作。如果你想用 ssh
这样做,pathos
也有内置的。
关于python - 序列化具有依赖项的 python 函数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26389981/
我是 python 的新手。我试图找到我的文本的频率分布。这是代码, import nltk nltk.download() import os os.getcwd() text_file=open(
我对安卓 fragment 感到困惑。我知道内存 fragment 但无法理解什么是 android fragment 问题。虽然我发现很多定义,比如 Android fragmentation re
尝试对 WordPress 进行 dockerise 我发现了这个场景: 2个数据卷容器,一个用于数据库(bbdd),另一个用于wordpress文件(wordpress): sudo docker
这个问题已经有答案了: From the server is there a way to know that my page is being loaded in an Iframe (1 个回答)
我正在玩小型服务器,试图对运行在其上的服务进行docker化。为简化起见,假设我必须主要处理:Wordpress和另一项服务。 在Docker集线器上有许多用于Wordpress的图像,但是它们似乎都
我想要发生的是,当帐户成功创建后,提交的表单应该消失,并且应该出现一条消息(取决于注册的状态)。 如果成功,他们应该会看到一个简单的“谢谢。请检查您的电子邮件。” 如果不是,那么他们应该会看到一条适当
就是这样,我需要为客户添加一个唯一标识符。通过 strip 元数据。这就是我现在完全构建它的方式,但是我只有最后一部分告诉我用户购买了哪个包。 我试着看这里: Plans to stripe 代码在这
我有一个类将执行一些复杂的操作,涉及像这样的一些计算: public class ComplexAction { public void someAction(String parameter
这个问题已经有答案了: maven add a local classes directory to module's classpath (1 个回答) 已关闭10 年前。 我有一些不应更改的旧 E
我使用 fragment 已经有一段时间了,但我经常遇到一个让我烦恼的问题。 fragment 有时会相互吸引。现在,我设法为此隔离了一个用例,它是这样的: Add fragment A(也使用 ad
我的 html 中有一个 ol 列表,上面有行条纹。看起来行条纹是从数字后面开始的。有没有办法让行条纹从数字开始? 我已经包含了正在发生的事情的片段 h4:nth-child(even) {
如何仅使用 css 将附加图像 html 化? 如果用纯 css 做不到,那我怎么能至少用一个图像来做 最佳答案 这不是真正的问题,而是您希望我们为您编写代码。我建议您搜索“css breadcrum
以下是 Joshua 的 Effective Java 的摘录: If you do synchronize your class internally, you can use various te
在这里工作时,我们有一个框向业务合作伙伴提供 XML 提要。对我们的提要的请求是通过指定查询字符串参数和值来定制的。其中一些参数是必需的,但很多不是。 例如,我们要求所有请求都指定一个 GUID 来标
我有 3 个缓冲区,其中包含在 32 位处理器上运行的 R、G、B 位数据。 我需要按以下方式组合三个字节: R[0] = 0b r1r2r3r4r5r6r7r8 G[0] = 0b g1g2g3g4
我最近发现了关于如何使用 History.js、jQuery 和 ScrollTo 通过 HTML5 History API 对网站进行 Ajax 化的要点:https://github.com/br
我们有一个 Spring Boot 应用程序,由于集成需要,它变得越来越复杂——比如在你这样做之后发送一封电子邮件,或者在你之后广播一条 jms 消息等等。在寻找一些更高级别的抽象时,我遇到了 apa
我正在尝试首次实施Google Pay。我面临如何指定gateway和gatewayMarchantId的挑战。 我所拥有的是google console帐户,不知道在哪里可以找到此信息。 priva
昨天下午 3 点左右,我为两个想要从一个 Azure 帐户转移到另一个帐户的网站设置了 awverify 记录。到当天结束时,Azure 仍然不允许我添加域,所以我赌了一把,将域和 www 子域重新指
我正在使用terms facet在elasticsearch服务器中获取顶级terms。现在,我的标签"indian-government"不被视为一个标签。将其视为"indian" "governm
我是一名优秀的程序员,十分优秀!