- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我在处理异步事件循环中的一些 CPU 密集型任务时遇到了问题。在处理维护传入数据缓冲区并从中构建数据包时,我遇到了麻烦。我试过使用执行器来做 CPU 绑定(bind)的事情,但是当从缓冲区中删除数据包时,无法维护缓冲区的顺序。
我正在寻找一种最佳实践方法来实现以下功能,而无需在事件循环中执行受 CPU 限制的任务。
import asyncio
import struct
class Reader(asyncio.Protocol):
def __init__(self):
self.extra = bytearray()
def data_received(self, data):
self.extra.extend(data)
packet = get_packet(bytes(self.extra))
if packet:
del self.extra[:len(packet)]
if verify_hash(packet): # CPU intensive
asyncio.async(distribute(packet)) # Some asyncio fan-out callback
def get_packet(data): # CPU intensive
if len(data) > HEADER_SIZE:
payload_size, = struct.unpack_from(HEADER_FORMAT, data)
if len(data) >= HEADER_SIZE + payload_size:
return data[:HEADER_SIZE + payload_size]
return None
loop = asyncio.get_event_loop()
loop.run_until_complete(loop.create_server(Reader, '0.0.0.0', 8000))
loop.run_forever()
最佳答案
您希望能够尽快处理所有进入 Reader
的数据,但您也不能让多个线程/进程尝试并行处理该数据;这就是您之前使用执行程序遇到竞争条件的原因。相反,您应该启动一个可以处理所有数据包数据的工作进程,一次一个,使用 multiprocessing.Queue
将数据从父进程传递给工作进程。然后,当 worker 构建、验证并准备分发有效数据包时,它使用另一个 multiprocessing.Queue
将其发送回父进程中的线程,该线程可以使用线程-保险箱 call_soon_threadsafe
调度 distribute
运行的方法。
这是一个未经测试的示例,应该可以让您了解如何执行此操作:
import asyncio
import struct
from concurrent.futures.ProcessPoolExecutor
import threading
def handle_result_packets():
""" A function for handling packets to be distributed.
This function runs in a worker thread in the main process.
"""
while True:
packet = result_queue.get()
loop.call_soon_threadsafe(asyncio.async, distribute(packet))
def get_packet(): # CPU intensive
""" Handles processing all incoming packet data.
This function runs in a separate process.
"""
extra = bytearray()
while True:
data = data_queue.get()
extra.extend(data)
if len(data) > HEADER_SIZE:
payload_size, = struct.unpack_from(HEADER_FORMAT, data)
if len(data) >= HEADER_SIZE + payload_size:
packet = data[:HEADER_SIZE + payload_size]
del extra[:len(packet)]
if verify_hash(packet):
result_queue.put(packet)
class Reader(asyncio.Protocol):
def __init__(self):
self.extra = bytearray()
self.t = threading.Thread(target=handle_result_packets)
self.t.start()
def data_received(self, data):
data_queue.put(data)
if __name__ == "__main__":
loop = asyncio.get_event_loop()
data_queue = multiprocessing.Queue()
result_queue = multiprocessing.Queue()
p = multiprocessing.Process(target=get_packet)
p.start()
loop.run_until_complete(loop.create_server(Reader, '0.0.0.0', 8000))
loop.run_forever()
关于Python asyncio 缓冲和处理数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25088161/
我正在使用 MediaPlayer 在我的应用程序中播放在线 mp3 文件中的一些声音。 但是,即使在播放完成后,我也会在控制台中收到一行又一行的回调和缓冲。 10-24 08:08:48.467
我有一个简单的多边形。 dfr p = st_polygon(list(as.matrix(dfr))) > pbuf = st_buffer(p, .4) > plot(pbuf) > plot(
这可能又是一些愚蠢的问题,也许这确实是我所缺少的东西,但我很难让 glMultiDrawArrays 在 OpenGL4 中工作。 我发现了很多这样的解释: for (int i = 0; i #i
这仅仅是根据网络速度调整预缓冲内容量的问题吗?你是否在一开始就为此调整一次,每秒......? 或者它更复杂 - 对您的网络速度记录历史进行采样并取平均值/中值并对其进行调整? 最佳答案 您的第二段总
嗨,我正在使用 FFmpeg Autogen C#。当我使用 mkv 输出作为文件并使用 h264 rtsp 流作为输入时,一切正常。编解码器是 libx264 ffmpeg.avio_open(
我需要多次遍历几个文本文件的行。目前这是通过多个 with open("file.txt") as f: for line in f: # do something 虽然性能还
昨天给同学们写了一个xinetd小练习:做一个反向回显程序。 为了学习新东西,我尝试实现一个 Haskell 解决方案。琐碎的main = forever $ interact reverse不起作用
我正在阅读《实时渲染第三版》中的遮挡剔除部分,但我无法理解它是如何工作的。一些问题: “Z 金字塔”有何贡献?为什么我们需要多种分辨率的 Z 缓冲区?在书中,它的显示如下(左侧): 八叉树结构与用于一
我通过串行端口与设备通信。 我已成功获取 InputStream 并读取设备发送的内容。 但问题是,我根本不知道何时停止阅读并继续执行另一项任务。 这是简化的代码: inputStream = ser
我有以下代码: func (q *Queue) GetStreams(qi *QueueInfo) { channel := make(chan error, len(qi.AudioChun
在我调用 -play 之前,有没有办法让 MPMusicPlayerController 缓冲内容?还是在您设置队列时默认执行此操作? AVAudioPlayer 有 -prepareToPlay 方
我正在编写一个数据库 备份函数,从System.Diagnostics.Process 对象 读取StandardOutput (StreamReader) 属性。我已成功写入普通文件。 //This
我有一个 wpf 应用程序,其中所有 viewModel 都继承自实现 INotifyPropertyChanged 的类 NotifyPropertyChangeClass(见下文)。 我想限制
我需要类似于 withLatestFrom 的东西,对应于下图: ---------A-----------------B-- -1-2-3------4------5-6-7-8---- -----
有没有办法缓冲 OutputStream,在返回之前修改它?这是我的代码片段: public ServletOutputStream getOutputStream() throws IOExcept
目前我们有实现服务器通信协议(protocol)缓冲的需求。如果有人对此有任何意见,他们可以向我提供任何意见吗。 最佳答案 请查看以下 Protocol Buffer 链接。 http://code.
所以我目前正在开发一个 Java 应用程序,该应用程序应该将特定事件记录到数据库中。我希望每分钟最多有 15 到 20 次插入,基本上我想知道我是否应该为每个插入语句建立一个新连接,或者只要应用程序正
请考虑以下代码,包括两个线程 buffering_thread(用一条消息填充缓冲区指针)和 sending_thread(清空缓冲区): #include "msg.cpp" msg * buffe
是否可以在线播放由两个或多个视频文件组成的视频? 由于我原来的帖子不够清楚,这里有扩展的解释和问题。 我的站点托管在 Linux/Apache/PHP 服务器上。我有 FLV/F4V 格式的视频文件。
这是我用于缓冲和转换传入事件的代码: public Publisher> logs(String eventId) { ConnectableObservable connectableObs
我是一名优秀的程序员,十分优秀!