linux - 使用 gnu parallel 执行 for 循环

Question

我想使用 gnu parallel 在 for 循环中的 bash 脚本中执行一个函数，但我无法从网上获得的信息中弄清楚如何进行。例如:

#!/bin/bash

get_racks(){
query that outputs a list of racks 
}

get_hosts() {
query that outputs a list of hosts by rack(passed as param to the func)
}

get_gw() {
query that outputs a list of gateways
}

check_ping() {
HOSTS=(`get_hosts`)
COUNTER=0
while [ $COUNTER -lt $SIZE ] ; do
  ssh $HOSTS "ping -c 5 ${GATEWAYS[$COUNTER]} " ;
  COUNTER=$((COUNTER+1)) ;
done
}

RACKS=(`get_racks`)
HOSTS=(`get_hosts`)
GWS=(`get_gw`)
SIZE=${#GWS[@]}
COUNTER=0

for rack in ${RACKS[@]}; do
  parallel check_ping | tee output.txt 
done

我想并行执行 for 循环以及内部发生的事情，同时控制并发作业的数量并将所有内容输出到一个文件中。最终文件应该包含函数返回的所有数据并打印到 stdout 。此外，check_ping 有一部分是通过 ssh 连接到远程机器并 ping 一个 GW，这部分实际上是与自定义 ssh 命令并行发生的，我们将 ssh 并行地连接到阵列中的所有主机并 ping 一个 GW。

非常感谢

Answer 1

我想你想要这个:

RUN_COMMANDS() {
...
}

export -f RUN_COMMANDS

parallel -j4 RUN_COMMANDS ::: “${FILES[@]}” | tee output.txt

如果顺序很重要，您将需要 parallel -k ...。