python - 一次运行 x 个命令

Question

我必须在 200 个文件上循环运行一个程序。

现在我让它们像这样运行:

for combo in it.combinations(files, 2):
    cmd = ["command", combo[0], combo[1]]
    subprocess.Popen(cmd)

我想一次只运行 60 个，以免计算机不堪重负，该命令非常占用处理器资源。在 60 个进程正在运行时暂停循环，然后在一个进程完成后再次开始循环以便始终有 60 个进程在运行的最佳方法是什么？

Answer 1

#!/usr/bin/env python
import itertools
import subprocess
from multiprocessing.dummy import Pool # use threads

def run(combo):
    cmd = ["command", combo[0], combo[1]]
    return combo, subprocess.call(cmd)

def main():
    p = Pool(60) # 60 subprocesses at a time
    for combo, rc in p.imap_unordered(run, itertools.combinations(files, 2)):
        print("%s exited with %s" % (combo, rc))
    p.close()
    p.join()

if __name__ == "__main__":
    main()

This answer demonstrates various techniques to limit number of concurrent subprocesses : 它展示了基于 multiprocessing.Pool、concurrent.futures、threading + Queue 的解决方案。