gpt4 book ai didi

python - 当 stdin 包含 unicode 时,Popen 子进程不退出

转载 作者:太空狗 更新时间:2023-10-30 01:29:25 25 4
gpt4 key购买 nike

我正在使用 Popen 执行一个子进程,并按如下方式为其提供输入(使用 Python 2.7.4):

env = dict(os.environ)
env['LC_ALL'] = 'en_US.UTF-8'
args = ['chasen', '-i u', '-F"%m "']
process = Popen(args, stdout=PIPE, stderr=PIPE, stdin=PIPE, env=env)
out, err = process.communicate(input=string)

将条目添加到执行它的环境是必要的,因为输入字符串包含日文字符,并且当脚本不是从命令行执行时(在我的例子中由 Apache 调用),Python 无法猜测编码。

这个设置对我来说用其他命令工作得很好,但是现在我正在使用 chasen(一个日语分词器),每当我向它发送 unicode 字符时,子进程不会返回,它只是坐着那里的 Python 脚本会占用内存。这似乎是一个编码问题,但我认为我可以通过使用 LC_ALL 环境变量指定编码来解决这个问题。

编辑:额外的怪异如下...从命令行执行 Python 脚本时我没有遇到这个问题,但明显的异常(exception)是“。”字符。出于某种原因,这也导致了 chasen 的奇怪。

最佳答案

这是 chasen 中的一个错误。当通过 Python 运行时,您可以看到它发出的以下系统调用:

write(1, "\n", 1)                       = 1
read(0, "", 4096) = 0
write(1, "\n", 1) = 1
read(0, "", 4096) = 0

即它不能正确处理 EOF .要解决此问题,只需将换行符 ('\n') 添加到您的 Python 字符串,如下所示:

# coding: utf-8
import os
from subprocess import Popen, PIPE

string = u"悪妻は百年の不作。"

env = dict(os.environ)
env['LC_ALL'] = 'en_US.UTF-8'
args = ['chasen', '-i u', '-F"%m "']
process = Popen(args, stdout=PIPE, stderr=PIPE, stdin=PIPE, env=env)
out, err = process.communicate(input=(string + u'\n').encode('utf-8'))

print(out)

关于python - 当 stdin 包含 unicode 时,Popen 子进程不退出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19016481/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com