python - 更改运行进程的输出重定向

Question

我有一个 家长 启动 的 Python 脚本 child (启动 孙子 )，一段时间后，我终止了 child ，但孙子继续泵到标准输出。在我杀死 child 之后，我想抑制/重定向孙子(及其所有后代)的 stdout 和 stderr。

这是家长:

import time
import subprocess
proc = subprocess.Popen('./child.sh')
print("Dad: I have begotten a son!")
time.sleep(1)
proc.kill()
proc.wait()
print("Dad: My son hath died!")
time.sleep(2)
print("Dad: Why does my grandson still speak?")

这是子脚本 我无法修改 .

#!/bin/bash
./grandchild.sh &
echo "Child: I had a son!"
for (( i = 0; i < 10; i++ )); do
    echo "Child: Hi Dad, meet your grandson!"
    sleep 1
done
exit 0

这里是吵闹的孙子 我无法修改 .

#!/bin/bash
for (( i = 0; i < 10; i++ )); do
    echo "Grandchild: Wahhh"
    sleep 1
done
exit 0

在杀死 child 之前，我尝试这样做:

import os
f = open(os.devnull,"w")
proc.stdout = proc.stderr = f

但它似乎不起作用。输出是:

> ./parent.py
Dad: I have begotten a son!
Child: I had a son!
Child: Hi Dad, meet your grandson!
Grandchild: Wahhh
Dad: My son hath died!
Grandchild: Wahhh
Grandchild: Wahhh
Dad: My grandson still speaketh!
Grandchild: Wahhh
Grandchild: Wahhh
Grandchild: Wahhh
Grandchild: Wahhh
Grandchild: Wahhh
Grandchild: Wahhh
Grandchild: Wahhh

Answer 1

当您调用 subprocess.Popen你可以告诉它重定向 stdout和/或 stderr .如果不这样做，它会允许操作系统从 Python 进程的实际 STDOUT_FILENO 复制，从而使它们不被重定向。和 STDERR_FILENO (它们是固定常数，1 和 2)。

这意味着，如果 Python 的 fd 1 和 2 将进入您的 tty session (例如，可能在像 /dev/pts/0 这样的底层设备上)，则子进程——在这种情况下，因此，孙子进程——将直接与同一个 session session (相同的 /dev/pts/0 )。您在 Python 进程本身中所做的任何事情都不能改变这一点:这些是具有独立、直接访问 session 的独立进程。

你可以做的是调用 ./child.sh重定向到位:

proc = subprocess.Popen('./child.sh', stdout=subprocess.PIPE)

快速旁注编辑:如果您想丢弃子代及其孙代的所有输出，请打开 os.devnull (像您一样，或者使用 os.open() 获取原始整数文件描述符)并将 stdout 和 stderr 连接到底层文件描述符。如果您已将其作为 Python 流打开:

f = open(os.devnull, "w")

那么底层文件描述符是 f.fileno() :

proc = subprocess.Popen('./child.sh', stdout=f.fileno(), stderr=f.fileno())

在这种情况下，您无法从所涉及的任何进程中获得任何输出。

现在子文件描述符 1 连接到管道实体，而不是直接连接到 session 。 (由于上面没有 stderr=，子进程中的fd 2仍然直接连接到 session 。)

存在于操作系统内部的管道实体只是从一端(管道的“写端”)复制到另一端(“读端”)。您的 Python 进程可以控制读取端。您必须调用操作系统 read系统调用——通常不是直接的，但见下文——在读取端，从它收集输出。

通常，如果您停止从读取端读取，管道会“填满”并且任何尝试操作系统级别的进程 write在写端被“阻止”，直到有人有权访问读端(再次是你)从它读取。

如果丢弃读端，使管道无处可转储其输出，则写端开始返回 EPIPE错误和发送 SIGPIPE信号，任何尝试操作系统级别的进程 write称呼。当您调用操作系统级别 close 时会发生这种丢弃。系统调用，假设您没有将描述符交给其他一些进程。它也会在您的进程退出时发生(再次在相同的假设下)。

没有方便的方法可以将读取端连接到无限数据接收器，例如 /dev/null ，至少在大多数类 Unix 系统中(有一些带有一些特殊的时髦系统调用来执行这种“管道”)。但如果你打算杀死 child 并愿意让它的孙子死于 SIGPIPE信号，您可以简单地关闭描述符(或退出)并让芯片掉到它们可能的位置。

子孙可以通过设置来保护自己免于死亡 SIGPIPE至 SIG_IGN ，或通过阻止 SIGPIPE .信号掩码在 exec 之间继承系统调用因此在某些情况下，您可以阻止 SIGPIPE对于 child (但有些 child 会解锁信号)。

如果关闭描述符不合适，您可以创建一个新进程来简单地读取和丢弃传入的管道数据。如果您使用 fork系统调用，这是微不足道的。或者，一些类 Unix 系统允许您通过 AF_UNIX 传递文件描述符。套接字连接到其他不相关的(父/子明智的)进程，因此您可以有一个守护进程来执行此操作，可通过 AF_UNIX 访问 socket 。 (这对代码来说很重要。)

如果你希望子进程将它的 stderr 输出发送到同一个管道，以便你可以读取它的 stdout 和它的 stderr，只需添加 stderr=subprocess.STDOUT到 Popen()称呼。如果您希望子进程将其 stderr 输出发送到单独的管道，请添加 stderr=subprocess.PIPE .但是，如果您选择后者，事情可能会变得有点棘手。

为防止子进程阻塞，如上所述，您必须调用操作系统 read称呼。如果只有一根管道，这很容易:

for line in proc.stdout:
    ...

例如，或:

line = proc.stdout.readline()

将一次读取管道一行(Python 内的模缓冲)。您可以根据需要阅读任意多行或几行。

但是，如果有两个管道，您必须阅读“已满”的任何一个。 Python的 subprocess模块定义了 communicate()为您执行此操作的功能:

stdout, stderr = proc.communicate()

这里的缺点是 communicate()读取完成:它需要获取所有可以到达每个管道写入端的输出。这意味着它重复调用操作系统级别 read操作直到 read表示数据结束。只有当所有进程在某个时候对相应管道的写端进行写访问时，才会发生这种情况。换句话说，它等待 child 和任何孙子到 close连接到管道写端的描述符。

一般来说，只使用一个管道要简单得多，尽可能多地(但只能尽可能多地)阅读，然后简单地关闭管道:

proc = subprocess.Popen('./child.sh', stdout=subprocess.PIPE)
line1 = proc.stdout.readline()
line2 = proc.stdout.readline()
# that's all we care about
proc.stdout.close()
proc.kill()
status = proc.wait()

这是否足够取决于您的特定问题。