python - 在 bash 中运行并行命令

Question

我有一个包含多个批处理文件的目录“batches”:

one.txt
two.txt
...
seventy.txt

这些文件中的每一个都需要由 python 脚本处理为:

python processor.py --inputFile=batches/one.txt

我目前的实现是这样的:

for f in batches/$f
do
python processor.py --inputFile=batches/$f
done

我有数百个批处理，因此并行运行所有批处理

python processor.py --inputFile=batches/$f &

不可行。

但是，我认为一次运行 ~10 应该不是问题。

我知道语法

{
python processor.py --inputFile=batches/batchOne.txt
python processor.py --inputFile=batches/batchTwo.txt
} &
{
python processor.py --inputFile=batches/batchThree.txt
python processor.py --inputFile=batches/batchFour.txt
}

应该给我一个类似于我想要的结果。但是，有没有更好的解决方案？基本上，给定一个命令模板，在我的例子中

python processor.py --inputFile=batches/$1

还有一个批处理列表，我想控制同时执行的批处理数。

我正在使用 Ubuntu Linux。

Answer 1

尝试这样做以运行 10//执行:

parallel -j 10 command_line    

安装

sudo apt-get install parallel