linux - 如何编写bash/shell脚本以使一部分脚本同时运行然后再运行？

Question

This question already has answers here:

Bash: limit the number of concurrent jobs?

(13个回答)


10天前关闭。




我想分别使用8 gpu进行大量实验。
因此，我需要shell脚本同时运行8个任务，并且在这8个任务完全完成之后，再运行接下来的8个任务，然后继续进行。
所以我这样写shell脚本:

python a.py --gpu=0&
python a.py --gpu=1&
python a.py --gpu=2&
python a.py --gpu=3&
python a.py --gpu=4&
python a.py --gpu=5&
python a.py --gpu=6&
python a.py --gpu=7

python a.py --gpu=0&
python a.py --gpu=1&
python a.py --gpu=2&
python a.py --gpu=3&
python a.py --gpu=4&
python a.py --gpu=5&
python a.py --gpu=6&
python a.py --gpu=7

如您所见，当“gpu”数字为7时，没有“＆”。
但是它仍然同时运行所有16个任务。
如何解决这个问题？非常感谢!

最佳答案

这个bash脚本怎么样？它为每个gpu启动一个进程(使用--gpu=0时从--gpu=7到$n_procs=8的参数)，然后等待所有进程完成。这是$n_runs的次数。

#!/bin/bash

n_procs=8  # number of processes (1 per gpu)
n_runs=2   # number of times to run the processes (modify as needed)

for i in $(seq 1 $n_runs); do
    for j in $(seq 0 $((n_procs-1))); do
        python a.py --gpu="${j}" &
        pids[${j}]=$!
    done

    # wait for all pids
    for pid in ${pids[*]}; do
        wait $pid
    done
done

关于linux - 如何编写bash/shell脚本以使一部分脚本同时运行然后再运行？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/65868067/

上一篇：python - "‘python’ : No such file or directory"when running Python file as executable

下一篇：python - 在 WSL (Ubuntu) 中为 python3 安装 venv

Answer 1

这个bash脚本怎么样？它为每个gpu启动一个进程(使用--gpu=0时从--gpu=7到$n_procs=8的参数)，然后等待所有进程完成。这是$n_runs的次数。

#!/bin/bash

n_procs=8  # number of processes (1 per gpu)
n_runs=2   # number of times to run the processes (modify as needed)

for i in $(seq 1 $n_runs); do
    for j in $(seq 0 $((n_procs-1))); do
        python a.py --gpu="${j}" &
        pids[${j}]=$!
    done

    # wait for all pids
    for pid in ${pids[*]}; do
        wait $pid
    done
done