python - 能够从 sh 脚本而不是 python 脚本实时(在 python 中)获取 stdout/stderr。

Question

我遇到了一个奇怪的行为。我有一个简单的函数来执行命令(使用 shell=True)并在将输出实时打印到屏幕时捕获输出(Can you make a python subprocess output stdout and stderr as usual, but also capture the output as a string? 的屈膝礼)。

我制作了两个虚拟脚本来测试它。第一个使用纯 shell 脚本 (/bin/sh) 将一些行写入 stdout 和 stderr。第二个使用 shell 脚本调用 python 来执行相同的过程。

在第一种情况 (sh) 中，我按预期捕获了所有输出，但在第二种情况 (python) 中，首先捕获了所有 stderr，然后才捕获了 一些 标准输出，但不是全部它。这是怎么回事？

这是我的脚本

import subprocess
import sys
import select

def tee_command(sh_script):
    proc = subprocess.Popen(sh_script,
                            stdout=subprocess.PIPE, stderr=subprocess.PIPE,
                            shell=True, universal_newlines=True)
    def getfd(s):
        # import six
        # if six.PY3:
        #     return s.buffer
        # else:
        return s.fileno()
    stdout = []
    stderr = []
    while True:
        reads = [getfd(proc.stdout), getfd(proc.stderr)]
        ret = select.select(reads, [], [])

        for fd in ret[0]:
            if fd == getfd(proc.stdout):
                read = proc.stdout.readline()
                sys.stdout.write('stdout: ' + str(read))
                sys.stdout.flush()
                stdout.append(read)
            if fd == getfd(proc.stderr):
                read = proc.stderr.readline()
                sys.stdout.write('stderr: ' + str(read))
                sys.stdout.flush()
                stderr.append(read)

        if proc.poll() is not None:
            break

    print('stdout:\n', ''.join(stdout))
    print('stderr:\n', ''.join(stderr))

from textwrap import dedent

sh_script = dedent(
    r'''
    for i in `seq 1 50`;
    do
        sleep .1
        >&1 echo "O$i"
        if [ "$(($i % 5))" = "0" ]; then
            >&2 echo "E$i"
        fi
    done
    ''').lstrip()
tee_command(sh_script)

sh_script = dedent(
    r'''
    python -c "
    import sys
    import time
    for i in range(100):
        time.sleep(.1)
        sys.stdout.write('O{}\n'.format(i))
        if i % 5 == 0:
            sys.stderr.write('E{}\n'.format(i))
    "
    ''').lstrip()
tee_command(sh_script)

第一种情况产生

stdout: O1
stdout: O2
stdout: O3
stdout: O4
stdout: O5
stderr: E5
stdout: O6
stdout: O7
stdout: O8
stdout: O9
stdout: O10
stderr: E10
stdout: O11
stdout: O12
stdout: O13
stdout: O14
stdout: O15
stderr: E15
stdout: O16
stdout: O17
stdout: O18
stdout: O19
stdout: O20
stderr: E20
stdout: O21
stdout: O22
stdout: O23
stdout: O24
stdout: O25
stderr: E25
stdout: O26
stdout: O27
stdout: O28
stdout: O29
stdout: O30
stderr: E30
stdout: O31
stdout: O32
stdout: O33
stdout: O34
stdout: O35
stderr: E35
stdout: O36
stdout: O37
stdout: O38
stdout: O39
stdout: O40
stderr: E40
stdout: O41
stdout: O42
stdout: O43
stdout: O44
stdout: O45
stderr: E45
stdout: O46
stdout: O47
stdout: O48
stdout: O49
stdout: O50
stderr: E50
stdout: stderr: stdout:
 O1
O2
O3
O4
O5
O6
O7
O8
O9
O10
O11
O12
O13
O14
O15
O16
O17
O18
O19
O20
O21
O22
O23
O24
O25
O26
O27
O28
O29
O30
O31
O32
O33
O34
O35
O36
O37
O38
O39
O40
O41
O42
O43
O44
O45
O46
O47
O48
O49
O50

stderr:
 E5
E10
E15
E20
E25
E30
E35
E40
E45
E50

但是第二种情况是这样写的:

stderr: E0
stderr: E5
stderr: E10
stderr: E15
stderr: E20
stderr: E25
stderr: E30
stderr: E35
stderr: E40
stderr: E45
stderr: E50
stderr: E55
stderr: E60
stderr: E65
stderr: E70
stderr: E75
stderr: E80
stderr: E85
stderr: E90
stderr: E95
stdout: O0
stdout: O1
stdout: O2
stdout: O3
stdout: O4
stdout: O5
stdout: O6
stdout: O7
stdout: O8
stdout: O9
stdout: O10
stdout: O11
stdout: O12
stdout: O13
stdout: O14
stdout: O15
stdout: O16
stdout: O17
stdout: O18
stdout: O19
stdout: O20
stdout: O21
stdout: O22
stdout: O23
stdout: O24
stdout: O25
stdout: O26
stdout: O27
stdout: O28
stdout: O29
stdout: O30
stdout: O31
stdout: O32
stdout: O33
stdout: O34
stdout: O35
stdout: O36
stdout: O37
stdout: O38
stderr: stdout:
 O0
O1
O2
O3
O4
O5
O6
O7
O8
O9
O10
O11
O12
O13
O14
O15
O16
O17
O18
O19
O20
O21
O22
O23
O24
O25
O26
O27
O28
O29
O30
O31
O32
O33
O34
O35
O36
O37
O38

stderr:
 E0
E5
E10
E15
E20
E25
E30
E35
E40
E45
E50
E55
E60
E65
E70
E75
E80
E85
E90
E95

我在 Ubuntu 16.04 上运行 Python 3.5

Answer 1

这是因为 bash 标准输出是行缓冲的，而 python 有固定长度的缓冲区。如果您更改添加 flush 对 python 脚本的调用:

for i in range(100):
    time.sleep(.1)
    sys.stdout.write('O{}\n'.format(i))
    sys.stdout.flush()
    if i % 5 == 0:
        sys.stderr.write('E{}\n'.format(i))
"
''').lstrip()

然后您将看到两个内部脚本的预期结果相同。

Python 为 stderr 做行缓冲，所以 stderr 总是被打印出来。

当内部 python 脚本终止时，完整的 stdout 缓冲区被刷新，但方法 tee_command 逐行从进程 stdout 读取数据。因此它可能读取一行，然后 if proc.poll() 检测到子进程已退出，其余行将被忽略。