python - Python Popen.communicate() 内存限制的替代方案？

Question

我有以下 Python 代码块(运行 v2.7)，当我处理大型(几 GB)文件时，会引发 MemoryError 异常:

myProcess = Popen(myCmd, shell=True, stdout=PIPE, stderr=PIPE)
myStdout, myStderr = myProcess.communicate()
sys.stdout.write(myStdout)
if myStderr:
    sys.stderr.write(myStderr)

在阅读 documentation to Popen.communicate() ，似乎正在进行一些缓冲:

Note The data read is buffered in memory, so do not use this method if the data size is large or unlimited.

有没有办法禁用这种缓冲，或者在进程运行时强制定期清除缓存？

我应该在 Python 中使用什么替代方法来运行将千兆字节数据流式传输到 stdout 的命令？

我应该注意我需要处理输出和错误流。

Answer 1

我想我找到了解决办法:

myProcess = Popen(myCmd, shell=True, stdout=PIPE, stderr=PIPE)
for ln in myProcess.stdout:
    sys.stdout.write(ln)
for ln in myProcess.stderr:
    sys.stderr.write(ln)

这似乎使我的内存使用量下降到足以完成任务。

更新

我最近发现了一种在 Python 中处理数据流的更灵活的方法，使用 threads .有趣的是，Python 在某些方面很差，以至于 shell 脚本可以轻松完成!