bash - gnu parallel 并行化一个for循环

Question

我已经看到几个关于这个主题的问题，但我无法将其转化为我的具体问题。我有一个 for 循环，循环遍历子目录，然后在每个目录内的压缩文本文件上执行 .sh 脚本。我想并行化这个过程，但我正在努力应用 gnu parallel。

这是我的循环:

for d in ./*/ ; do (cd "$d" && script.sh); done

我知道我需要并行输入一个列表，所以我一直在尝试这个:

ls -d */ | parallel cd && script.sh

虽然这似乎开始了，但当 gzip 尝试解压缩目录中的一个 txt 文件时，我收到一条错误消息，提示该文件不存在:

gzip: *.txt.gz: No such file or directory

但是，当我运行原始的 for 循环时，除了需要一个世纪才能完成之外，我没有遇到任何问题。此外，我在使用并行时只遇到一次 gzip 错误，考虑到我有超过 1000 个子目录，这太奇怪了。

我的问题是:

1. 如何让 Parallel 在我的案例中发挥作用？如何并行化将 .sh 脚本的应用程序并行化到它们自己的子目录中的 1000 个文件？即-我的问题的解决方案是什么？我必须取得进步。

2. 我错过了什么？语法、循环、糟糕的脚本？我要学习。

3. Parallel 实际上是在尝试并行运行所有这些 .sh 脚本吗？为什么我没有收到每个 .txt.gz 文件的错误？

4. 并行是应用程序的最佳选择吗？是否有其他选项更适合我的需求？

Answer 1

两个问题:

1. 在:

   ls -d */ | parallel cd && script.sh
   

   并联的就是cd , 不是 script.sh . script.sh毕竟只执行一次parallel cd如果没有错误，作业已经运行。它与以下内容相同:

   ls -d */ | parallel cd
   if [ $? -eq 0 ]; then script.sh; fi
   

2. 您没有将目标目录传递给cd .那么，parallel 执行了什么？只是cd ，这只是将当前目录更改为您的主目录。决赛script.sh在当前目录(从您调用命令的位置)中执行，其中可能没有 *.txt.gz文件，因此是错误。

您可以检查自己第一个问题的影响:

$ mkdir /tmp/foobar && cd /tmp/foobar && mkdir a b c
$ ls -d */ | parallel cd && pwd
/tmp/foobar

pwd 的输出只打印一次，即使您有多个输入目录。您可以通过引用命令来修复它，然后检查第二个问题:

$ ls -d */ | parallel 'cd && pwd'
/homes/myself
/homes/myself
/homes/myself

你应该看到尽可能多的pwd输出，因为有输入目录，但它始终是相同的输出:您的主目录。您可以使用 {} 解决第二个问题。替换为当前输入的替换字符串。检查它:

$ ls -d */ | parallel 'cd {} && pwd'
/tmp/foobar/a
/tmp/foobar/b
/tmp/foobar/c

现在，您应该在输出中正确列出了所有输入目录。

对于您的具体问题，这应该有效:

ls -d */ | parallel 'cd {} && script.sh'