个人中心
文章发布
退出
作者热门文章
- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
26
4
我正在构建一个服务器，它使用 Twisted Python 在 Redis 之上存储键/值数据。服务器通过 HTTP 接收一个 JSON 字典，将其转换为 Python 字典并放入缓冲区。每次存储新数据时，服务器都会安排一项任务，使用 txredis 客户端从缓冲区中弹出一个字典并将每个元组写入 Redis 实例。
class Datastore(Resource):
isLeaf = True
def __init__(self):
self.clientCreator = protocol.ClientCreator(reactor, Redis)
d = self.clientCreator.connectTCP(...)
d.addCallback(self.setRedis)
self.redis = None
self.buffer = deque()
def render_POST(self, request):
try:
task_id = request.requestHeaders.getRawHeaders('x-task-id')[0]
except IndexError:
request.setResponseCode(503)
return '<html><body>Error reading task_id</body></html>'
data = json.loads(request.content.read())
self.buffer.append((task_id, data))
reactor.callLater(0, self.write_on_redis)
return ' '
@defer.inlineCallbacks
def write_on_redis(self):
try:
task_id, dic = self.buffer.pop()
log.msg('Buffer: %s' % len(self.buffer))
except IndexError:
log.msg('buffer empty')
defer.returnValue(1)
m = yield self.redis.sismember('DONE', task_id)
# Simple check
if m == '1':
log.msg('%s already stored' % task_id)
else:
log.msg('%s unpacking' % task_id)
s = yield self.redis.sadd('DONE', task_id)
d = defer.Deferred()
for k, v in dic.iteritems():
k = k.encode()
d.addCallback(self.redis.push, k, v)
d.callback(None)
基本上，我面临着两个不同连接之间的生产者/消费者问题，但我不确定当前的实现是否在 Twisted 范例中运行良好。我已经阅读了 Twisted 中关于生产者/消费者接口(interface)的小文档，但我不确定我是否可以在我的案例中使用它们。欢迎任何批评:经过多年的线程并发，我正试图掌握事件驱动编程。
最佳答案
Twisted 中的生产者和消费者 API，IProducer 和 IConsumer，是关于流量控制的。您在这里似乎没有任何流量控制，您只是将消息从一种协议(protocol)中继到另一种协议(protocol)。
由于没有流量控制，缓冲区只是额外的复杂性。您可以通过将数据直接传递给 write_on_redis 方法来摆脱它。这样 write_on_redis 不需要处理空缓冲区的情况，你不需要资源上的额外属性，你甚至可以摆脱 callLater (尽管即使保留缓冲区也可以这样做。
不过，我不知道这是否能回答您的问题。至于这种方法是否“有效”，以下是我通过阅读代码注意到的事情:
sismember 调用或 sadd 调用没有错误处理，如果其中任何一个失败，您可能会丢失任务，因为您已经将它们从工作中弹出缓冲区。Deferred d 的回调也意味着任何失败的推送都将阻止其余数据被推送。它还将 push 返回的 Deferred 的结果(我假设它返回一个 Deferred)作为下一个调用的第一个参数，所以除非 push 或多或少地忽略了它的第一个参数，否则您不会将正确的数据推送到 redis。如果你想实现流量控制，那么你需要让你的 HTTP 服务器检查 self.buffer 的长度并可能拒绝新任务 - 不 添加它到 self.buffer 并向客户端返回一些错误代码。您仍然不会使用 IConsumer 和 IProducer，但它们有点相似。
关于python - Twisted Python 中的另一个生产者/消费者问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5157967/
26
4
0
我正在尝试发送 RFC5424 中定义的结构化数据从 Twisted 到系统日志。我在 Ubuntu 上，系统日志实现是 rsyslog。 我正在使用“twistd --syslog”运行扭曲的应用程
摘要:无法自动向 Twisted 的检修孔发出命令。寻求解决方案/建议。 Twisted 有一个很棒的功能，称为 manhole。它允许用户通过 ssh 连接到当前正在运行的 Twisted 服务器并
我正在尝试发送 RFC5424 中定义的结构化数据从 Twisted 到系统日志。我在 Ubuntu 上，系统日志实现是 rsyslog。 我正在使用“twistd --syslog”运行扭曲的应用程
我正在尝试使用扭曲的 spawnProcess 启动一个进程，并使用 psutil 每 5 秒记录一次资源使用情况。首先，我尝试使用以下代码获取生成的进程的可执行文件名称: #!/usr/bin/py
Azure 网站能否托管 Twisted 应用程序？例如像这样的东西: from twisted.internet import reactor from twisted.web import ser
有没有办法限制 Twisted http 客户端的下载速率？如果没有，在 Twisted 中实现此类客户端的最简单方法是什么？ 最佳答案 Twisted 中的流控制最常使用 IProducer.pau
我的基于 Twisted 的客户端循环发送 UDP 数据包。因此，我正在使用 DatagramProtocol 类。这是来源: #!/usr/bin/python # -*- coding: utf-
raven 有很多集成，包括 python 日志记录。一方面，twisted 不使用python 的日志记录。而另一方面，在twisted 中，raven 并没有直接的整合。 那么在基于扭曲的设置中使
有人告诉我，Twisted基于库Ampoule是创建在不同计算机上执行的进程池的好方法。然而，没有相关文档，Ampoule 的示例也没有说明这一点。 我对类似于 stdlib multiprocess
Twisted 最近推出了一个新的日志记录模块:twisted.logger。我已经通读了文档 [1]，但我一直无法找到设置实际日志级别的位置。关于日志观察者[2] 的部分建议，如果您显式配置自己的
我想问一个关于如何关闭扭曲连接的问题 RPC . 我知道有人问过类似的问题，但似乎没有回答我的问题。 我正在做一些基本的连接，如下图所示: cfactory = pb.PBClientFactory(
我正在使用 Twisted 编写代码，但在为我的扭曲互联网延迟变量想出一个合理的变量名时遇到了麻烦。这是我的候选人: d :太通用，太短，违反了 pylint 规则 C0103。 def :与内置函数
我正在为 Web 服务器的静态部分使用 Twisted Web static.File 资源。 对于开发，我希望能够添加新文件或修改当前静态文件，而无需重新启动 Twisted 网络服务器。 我在 g
我想使用 Twisted 重建现有应用程序的通信部分。这个应用程序确实从客户端向服务器发送数据，只是这样，服务器不发送任何东西。 我如何使用 Twisted 的事件驱动概念来实现这一目标？我目前使用
我开始考虑通过扩展当前的 Twisted FTP 来实现显式 FTP。 大部分代码都很简单，实现 AUTH、PBSZ、PROT 很容易，我得到了一个有效的安全控制 channel 。 我的问题是数据通
我想实现 WebRTC 对等连接。我不知道如何设置 ICE 服务器或应该使用什么工具。任何人都可以给我建议吗？非常感谢。 最佳答案 实际上你不需要编写自己的 STUN/TURN 服务器 有很多现成的解
正如标题所示，ProcessProtocol 类上的这两个函数有什么区别？关于什么时候应该使用一种而不是另一种的文档有点稀疏？ 我最好寻找一些可以证明这一点的用例示例。 最佳答案 我猜文档在这一点上有
使用下面的代码，我似乎可以相当轻松地使用 multiprocessing.reduction 在子进程中重建套接字.. import socket,os import multiprocessing
我正在尝试在 python 上使用 twisted 编写服务器。这是我文件的头部: from twisted.internet.protocol import Factory, Protocol fr
我使用 Twisted 制作了一个简单的 http 服务器，它发送 Content-Type: multipart/x-mixed-replace header 。我正在使用它来测试我想设置为接受长期
我是一名优秀的程序员,十分优秀！