python-3.x - 往返 2 个 Python 子进程的循环管道

Question

我需要有关子流程模块的帮助。这个问题听起来可能是重复的，而且我已经在很多方面看到过很多与之相关的文章。但即便如此我也无法解决我的问题。其过程如下:
我有一个C程序2.c，其内容如下:

#include<stdio.h>
int main()
{
int a;
scanf("%d",&a);
while(1)
  {
   if(a==0)               //Specific case for the first input
     {
      printf("%d\n",(a+1));
      break;
     }
   scanf("%d",&a);
   printf("%d\n",a);
  }
return 0;
}

我需要编写一个Python脚本，它首先使用subprocess.call()编译代码，然后使用Popen打开两个进程来执行各自的C程序。现在，第一个过程的输出必须是第二个过程的输入，反之亦然。所以本质上，如果我的初始输入是 0，那么第一个进程输出 2，由第二个进程获取。它依次输出 3，依此类推无限。

下面的脚本是我的想法，但它是有缺陷的。如果有人可以帮助我，我将非常感激。

from subprocess import *
call(["gcc","2.c"])
a = Popen(["./a.out"],stdin=PIPE,stdout=PIPE) #Initiating Process
a.stdin.write('0')
temp = a.communicate()[0]
print temp
b = Popen(["./a.out"],stdin=PIPE,stdout=PIPE) #The 2 processes in question
c = Popen(["./a.out"],stdin=PIPE,stdout=PIPE)
while True:
    b.stdin.write(str(temp))
    temp = b.communicate()[0]
    print temp
    c.stdin.write(str(temp))
    temp = c.communicate()[0]
    print temp
a.wait()
b.wait()
c.wait()

Answer 1

如果你想要第一个命令的输出a作为第二个命令的输入 b依次 b的输出是a的输入 - 像蛇吃尾部一样的圆圈 - 那么你不能使用 .communicate()循环:.communicate()直到进程终止并且所有输出都被消耗后才会返回。

一种解决方案是使用命名管道(如果 open() 在这种情况下在您的系统上不会阻塞):

#!/usr/bin/env python3
import os
from subprocess import Popen, PIPE

path = 'fifo'
os.mkfifo(path) # create named pipe
try:
    with open(path, 'r+b', 0) as pipe, \
         Popen(['./a.out'], stdin=PIPE, stdout=pipe) as b, \
         Popen(['./a.out'], stdout=b.stdin, stdin=pipe) as a:
        pipe.write(b'10\n') # kick-start it
finally:
    os.remove(path) # clean up

它模拟a < fifo | b > fifo来自 @alexander barakin answer 的 shell 命令.

<小时/>

这是一个更复杂的解决方案，它通过 python 父进程传输数据:

#!/usr/bin/env python3
import shutil
from subprocess import Popen, PIPE

with Popen(['./a.out'], stdin=PIPE, stdout=PIPE, bufsize=0) as b, \
     Popen(['./a.out'], stdout=b.stdin, stdin=PIPE, bufsize=0) as a:
    a.stdin.write(b'10\n') # kick-start it
    shutil.copyfileobj(b.stdout, a.stdin) # copy b's stdout to a' stdin

此代码连接 a的输出为 b的输入通过 OS 管道使用重定向(如 a | b shell 命令所做的那样)。

要完成这个圆圈，b的输出被复制到 a使用 shutil.copyfileobj() 在父 Python 代码中输入。

此代码可能有 buffering issues :进程之间有多个缓冲区:C stdio 缓冲区、包装管道的 Python 文件对象中的缓冲区(由 bufsize 控制)。

bufsize=0关闭 Python 端的缓冲，数据一旦可用就会被复制。当心，bufsize=0可能会导致部分写入 - 您可能需要内联 copyfileobj()并再次调用write()，直到所有读取的数据都写入。

调用setvbuf(stdout, (char *) NULL, _IOLBF, 0) ，使标准输出在您的 C 程序中进行行缓冲:

#include <stdio.h>

int main(void)
{
  int a;
  setvbuf(stdout, (char *) NULL, _IOLBF, 0); /* make line buffered stdout */
  do {
    scanf("%d",&a);
    printf("%d\n",a-1);
    fprintf(stderr, "%d\n",a); /* for debugging */
  } while(a > 0);
  return 0;
}

输出

10
9
8
7
6
5
4
3
2
1
0
-1

输出是相同的。

由于 C 子程序的编写和执行方式，您可能还需要捕获并忽略 BrokenPipeError a.stdin.write() 末尾出现异常和/或 a.stdin.close() ( a 进程可能已经死亡，而 b 中有未复制的数据)。