python - 子进程 stdin.write 期间管道损坏

Question

我与用来标记句子的服务器进行交互。此服务器在端口 2020 上本地启动.

例如，如果我发送 Je mange des pâtes .在端口 2020通过下面使用的客户端，服务器回答Je_CL mange_V des_P pâtes_N ._. ，结果总是只有一行，如果我的输入不为空，结果总是一行。

我目前必须通过此服务器标记 9 568 个文件。前 9 483 个文件已按预期标记。之后，输入流似乎关闭/完整/其他东西，因为我得到 IOError ，具体来说是 Broken Pipe当我尝试在 stdin 上写入时出错.

当我跳过前 9 483 个第一个文件时，最后一个文件被标记，没有任何问题，包括导致第一个错误的文件。

我的服务器没有生成任何错误日志来表明发生了可疑的事情...我是否处理不当？管道一段时间后出现故障是否正常？

log = codecs.open('stanford-tagger.log', 'w', 'utf-8')
p1 = Popen(["java",
            "-cp", JAR,
            "edu.stanford.nlp.tagger.maxent.MaxentTaggerServer",
            "-client",
            "-port", "2020"],
           stdin=PIPE,
           stdout=PIPE,
           stderr=log)

fhi = codecs.open(SUMMARY, 'r', 'utf-8') # a descriptor of the files to tag

for i, line in enumerate(fhi, 1):
    if i % 500:
        print "Tagged " + str(i) + " documents..."
    tokens = ... # a list of words, can be quite long
    try:
        p1.stdin.write(' '.join(tokens).encode('utf-8') + '\n')
    except IOError:
        print 'bouh, I failed ;(('
    result = p1.stdout.readline()
    # Here I do something with result...
fhi.close()

Answer 1

除了我的评论之外，我可能还会建议一些其他更改...

for i, line in enumerate(fhi, 1):
    if i % 500:
        print "Tagged " + str(i) + " documents..."
    tokens = ... # a list of words, can be quite long
    try:
        s = ' '.join(tokens).encode('utf-8') + '\n'
        assert s.find('\n') == len(s) - 1       # Make sure there's only one CR in s
        p1.stdin.write(s)
        p1.stdin.flush()                        # Block until we're sure it's been sent
    except IOError:
        print 'bouh, I failed ;(('
    result = p1.stdout.readline()
    assert result                               # Make sure we got something back
    assert result.find('\n') == len(result) - 1 # Make sure there's only one CR in result
    # Here I do something with result...
fhi.close()

...但是考虑到还有一个我们一无所知的客户端/服务器，有很多地方可能会出错。

如果将所有查询转储到一个文件中，然后使用类似...的命令行运行它，它会起作用吗

java .... < input > output