python - 从 async.subprocess.PIPE 读取

Question

return asyncio.create_subprocess_exec(*_cmd, stdout=asyncio.subprocess.PIPE, limit=2 ** 32, stderr=asyncio.subprocess.PIPE, loop=loop)

我使用此代码创建一个异步子进程，然后从 stdout 获取消息。

data = await  p.stdout.read(n=height * width * 3)

一切都很好，我从管道读取的是一个2k jpg 2 fps，图像字节大小是11059200，但是我读取时的最大大小始终是8192，所以我尝试这个获取一次。

print("start1" + str(arrow.now()))
loop_size = int(height * width * 3 / 8192 + 1)
print(loop_size)
list = [await  p.stdout.read(n=height * width * 3) for _ in range(loop_size)]
print("start2" + str(arrow.now()))
data = b"".join(list)
print("end" + str(arrow.now()))

看起来还可以。

start22018-06-12T19:44:30.902742+08:00
end2018-06-12T19:44:30.909693+08:00
2018-06-12T19:44:30.916675+08:00

如果管道是转换大文件，该进程将无法立即处理数据，因此程序总是崩溃。

我想知道，为什么从管道接收到的数据包是awlay 8192，我可以像普通的Subprocess.Pipe.read(bufsize=width*height*3)一样读取吗？对于这个问题有什么好的建议吗？

the image

Answer 1

the Image byte size is 11059200,but the max size when i read is always 8192

StreamReader.read最多读取指定数量的字节，但可以返回更少的字节，与底层系统调用返回的字节一样多。这通常是一个功能，因为它允许您在数据到达时对其进行处理，同时仍然对同时保存在内存中的数据量施加上限。

在您的代码中，您希望等到整个图像准备就绪，您可以通过调用 readexactly 来完成此操作而不是读取:

data = await p.stdout.readexactly(height * width * 3)