Python:回显子进程

Question

我正在尝试从 python 脚本将任务分配给 qsub。

到目前为止，我一直使用这样的表达式来进行 qsub 提交:

echo "python script.py arg1 arg2" | qsub

我尝试在 python 中重现此命令:

command = 'echo "python sub_master_script.py ' + str(i) + ' ' + path + '" | qsub -pe make 5 -N Teaching_' + str(i) + ' -cwd'
subprocess.call(shlex.split(command))

虽然 command 带有我通常使用的命令，但当我启动 python 脚本时，它被解释为简单的 echo。

我没有开始一项新工作，而是在控制台中编写了以下内容:

python sub_master_script.py 0.75 /data5/bio/runs-galkin/Iterative/test_OTU.txt | qsub -pe make 5 -N Teaching_0.75 -cwd

为什么会发生这种情况？我怎样才能让它发挥作用？

Answer 1

您正在大量使用 shell 功能，主要是通过管道连接在一起运行 2 个进程。

subprocess.call(shlex.split(command),shell=True)

是一个快速修复。

正确的做法是使用 1 subprocess.Popen 实例，通过 communicate 提供输入(以模拟 echo python ...)并删除 shell=True (使用 pipes.quote 正如 Charles 评论的那样，以确保在需要时正确引用字符串)

import pipes
input_string = "python sub_master_script.py {} {}\n".format(*(map(pipes.quote,[str(i),path])))

p = subprocess.Popen(['qsub','-pe','make','5','-N','Teaching_{}'.format(i),'-cwd'],stdin=subprocess.PIPE)
out,err = p.communicate(input_string)