- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我使用 pyro用于计算集群上并行作业的基本管理。我刚搬到一个集群,在那里我将负责使用每个计算节点上的所有内核。 (在以前的集群中,每个核心都是一个单独的节点。)python multiprocessing模块似乎很适合这个。我注意到它也可以用于 remote-process communication .如果有人使用这两种框架进行远程进程通信,我将很高兴听到它们如何相互比较。 multiprocessing 模块的明显好处是它是从 2.6 开始内置的。除此之外,我很难说哪个更好。
最佳答案
编辑:我正在改变我的答案,这样你就可以避免痛苦。 multiprocessing 不成熟,BaseManager 上的文档不正确,如果你是一个面向对象的思想家,想在运行时即时创建共享对象,使用 PYRO 否则你会严重遗憾!如果您只是使用共享队列进行函数式编程,您可以像所有愚蠢的示例一样预先注册,这对您来说非常好。
多处理:
火焰兵:
编辑: 第一次回答这个问题时,我刚刚深入研究了 2.6 多处理。在我下面显示的代码中,Texture 类作为代理注册和共享,但其中的“数据”属性不是。所以猜猜会发生什么,每个进程在纹理代理内部都有一个单独的“数据”属性副本,尽管您可能会这样。我只是花了数不清的时间试图找出在运行时创建共享对象的良好模式,我一直在碰砖墙。这一直很令人困惑和沮丧。也许只有我一个人是这样认为的,但环顾四周人们尝试过的为数不多的例子,它看起来并不像。
在多处理更加成熟之前,我不得不做出放弃多处理库并更喜欢 Pyro 的痛苦决定。虽然最初我很高兴学习 python 中内置的多处理,但现在我对它感到非常厌恶,宁愿多次安装 Pyro 包,并为 python 存在如此漂亮的库感到高兴。
我在过去的项目中使用过 Pyro,并且对它非常满意。我也开始使用 2.6 中的新多处理。
对于多处理,我发现允许根据需要创建共享对象有点尴尬。看起来,在它年轻的时候,多处理模块更适合函数式编程而不是面向对象。然而,这并不完全正确,因为这是可能的,我只是觉得受到“注册”电话的限制。
例如:
管理器.py:
from multiprocessing import Process
from multiprocessing.managers import BaseManager
class Texture(object):
def __init__(self, data):
self.data = data
def setData(self, data):
print "Calling set data %s" % (data)
self.data = data
def getData(self):
return self.data
class TextureManager(BaseManager):
def __init__(self, address=None, authkey=''):
BaseManager.__init__(self, address, authkey)
self.textures = {}
def addTexture(self, name, texture):
self.textures[name] = texture
def hasTexture(self, name):
return name in self.textures
服务器.py:
from multiprocessing import Process
from multiprocessing.managers import BaseManager
from manager import Texture, TextureManager
manager = TextureManager(address=('', 50000), authkey='hello')
def getTexture(name):
if manager.hasTexture(name):
return manager.textures[name]
else:
texture = Texture([0]*100)
manager.addTexture(name, texture)
manager.register(name, lambda: texture)
TextureManager.register("getTexture", getTexture)
if __name__ == "__main__":
server = manager.get_server()
server.serve_forever()
客户端.py:
from multiprocessing import Process
from multiprocessing.managers import BaseManager
from manager import Texture, TextureManager
if __name__ == "__main__":
manager = TextureManager(address=('127.0.0.1', 50000), authkey='hello')
manager.connect()
TextureManager.register("getTexture")
texture = manager.getTexture("texture2")
data = [2] * 100
texture.setData(data)
print "data = %s" % (texture.getData())
我所描述的尴尬来自 server.py,我在其中注册了一个 getTexture 函数以从 TextureManager 检索具有特定名称的函数。在我讨论这个问题时,如果我将 TextureManager 设为创建/检索可共享纹理的可共享对象,可能会消除这种尴尬。嗯,我还在玩,但你明白了。我不记得在使用 pyro 时遇到过这种尴尬,但可能有一个比上面的例子更简洁的解决方案。
关于python - 多处理模块和pyro的比较?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/1171767/
我在运行 Wheezy 的树莓派上使用 Pyro4 和 Python 2.7 当我启动 Pyro 名称服务器时 pyro4-ns & 或 python -m Pyro4.naming & 我的代码按预
我正在尝试了解 Celery,想知道 Celery 和 Pyro 是否正在尝试实现相同的目标? 有人可以告诉我是否有 Celery 可以做而 Pyro 不能做的事情,反之亦然? 最佳答案 正如我在官方
当我通过补丁添加新文件时,它会弄乱文件顺序表,同时补丁的大小变得与产品安装的大小相同。我正在使用 PatchGroup 元素来克服这种行为,但随着通过补丁添加的新文件数量的增长,很难跟踪 PatchG
我想过使用PyRo作为生产环境中的后端。所以想请教一下, 它支持集群吗? IE。如果一个 PyRo 后端出现故障,它可以回退到使用另一个后端吗?如果名称服务器失败怎么办? 一些大型生产系统是否为此目的
我已经使用 Pyro 3 一段时间了,取得了巨大的成功,但偶尔我注意到,当 Pyro 进行远程通信时,当 SIGHUP 或 SIGINT 等信号到达时,进程挂起,因此出现问题, Pyro 信号安全吗?
我想将 Pyro 与一组涉及工厂模式的现有类一起使用,即 A 类的对象(通常只有其中一个)用于实例化 B 类的对象(可以是任意的这些)的数量)通过工厂方法。因此,我将 A 类对象公开为 Pyro 代理
我正在尝试使用 Pyro 设置一些代码来处理远程主机上的 python 代码函数并取回结果。启动名称服务器后,我将在远程主机上执行此代码(实际上仍在本地主机上): import Pyro4 class
我的每个虚拟机中都运行着一个 Pyro 服务器。这些都是相同的对象,我只是运行它们以确保可靠性。我希望能够监视这些对象是否“活着”并且可以访问。 假设我有他们的 URI,我如何在不尝试运行实际对象的方
我有一个名为 foobar 的模块,它包含一堆我想远程调用的函数。 我当前的解决方案是将所有这些函数作为静态方法包装在一个类中并共享。 这是我的代码: pyro_server.py: import P
我在项目中使用 Pyro,似乎无法理解如何通过网络传输完整的对象。该对象未分布式(我的分布式对象工作得很好),但应该作为一个已经可用的分布式对象的参数。 我的对象派生自自定义类,其中包含一些方法和一些
我正在尝试使用 Pyro 来控制从机。我 rsync 必要的 python 文件,启动 Pyro 服务器,通过远程控制执行一些操作,然后我想告诉 Pyro 服务器关闭。 我无法让 Pryo 守护程序完
我使用了基于 Clojure 的“圣公会”,我认为这对我不利。糟糕的文档和太小的社区无法寻求帮助。此外,我仍然无法熟悉基于 Scheme 的语言。所以我想将语言更改为基于 Python 的语言。 也许
我正在学习 forecasting 中的 Pyro 介绍教程,并在训练模型后尝试访问学习到的参数,我对其中一些使用不同的访问方法得到了不同的结果(而对其他人则得到了相同的结果)。 这是教程中精简的可重
我正在使用 pygame 和 pyro 在 python 中开发一个项目。我可以轻松发送数据、函数、类等。但是,我不能在传输过程中不在我身上死掉的情况下通过电线发送一个表面。 服务器在 def __i
Pyro 和 gevent 可以一起使用吗?我该如何去做呢? Pyro 想要拥有自己的事件循环,其底层可能使用 epoll 等。我在协调两者方面遇到了麻烦。 如果有帮助,我们将不胜感激。 最佳答案 我
我刚刚阅读了一个名为 Pyro 的面向机器人的 Python 实现。它在 2005 年停止生产,但我想知道是否有人知道它在 2.6 中是否可用,以及它与其他语言的机器人技术相比如何。 最佳答案 根据
我正在寻找 Python 的远程过程调用引擎,我发现 PyRo (Python Remote Object)和 RPyC (Remote Python Call) 都是我正在寻找的东西。 但是,我很想
我对使用远程第三方库有点困惑: 1) 例如,我有服务器代码: import Pyro4 import Pyro4.naming import Pyro4.utils.flame Pyro4.confi
我认为最好先解释一下我想做什么:我目前正在使用 Python、pytest 和 Pyro4 开发测试框架。它旨在测试在硬件原型(prototype)上运行的软件。开发人员/测试人员正在他的 PC 上使
我实际上是在使用 SQLAlchemy 与 MySQL 和 Pyro 来制作服务器程序。许多客户端连接到此服务器以发出请求。程序只提供MySQL数据库的信息,有时会做一些计算。 为每个客户创建一个 s
我是一名优秀的程序员,十分优秀!