python - 子进程打开并通信后关闭所有文件的正确方法

Question

我们在运行 python Twisted 应用程序的 Ubuntu Linux 机器上遇到了可怕的“太多打开的文件”问题。在我们程序的很多地方，我们都在使用子进程 Popen，就像这样:

Popen('ifconfig ' + iface, shell=True, stdin=PIPE, stdout=PIPE, stderr=STDOUT, close_fds=True)
output = process.stdout.read()

而在其他地方我们使用子进程通信:

process = subprocess.Popen(['/usr/bin/env', 'python', self._get_script_path(script_name)],
                       stdin=subprocess.PIPE,
                       stdout=subprocess.PIPE,
                       close_fds=True)
out, err = process.communicate(data)

在这两种情况下，我究竟需要做什么才能关闭所有打开的文件描述符？ Python 文档对此并不清楚。根据我收集的信息(可能是错误的)，communicate() 和 wait() 确实会自行清理所有打开的 fds。但是Popen呢？如果我不调用 communicate 或 wait，是否需要在调用 Popen 后显式关闭 stdin、stdout 和 stderr？

Answer 1

根据to this source for the subprocess module (link)如果调用 communicate，则不需要关闭 stdout 和 stderr 管道。

否则我会尝试:

process.stdout.close()
process.stderr.close()

在使用完 process 对象之后。

例如，当您直接调用 .read() 时:

output = process.stdout.read()
process.stdout.close()

在上面的模块源代码中查看 communicate() 是如何定义的，您会看到它在读取每个管道后关闭它，所以这也是您应该做的。