linux - 加速/并行化大规模硬链接(hard link)循环

Question

我正在编写一个脚本，该脚本生成一个包含数千个二进制文件的文件夹，这些二进制文件将被捆绑到不同产品的多个安装程序中。脚本的很大一部分将文件从任意位置“复制”到临时路径，以生成安装程序/tarball 所需的输出结构。

这个操作中最慢的一个部分是一个巨大的循环，基本上看起来像:

for i in $(find /some/tmp/path -iname "*")
do
    ln "${i}" "/TEMP1/${i}"
done

这样做的原因是它是一种将文件“复制”到所需位置以生成最终输出 tarball 的更快方法，并且它不会占用与文件的实际副本一样多的磁盘空间。

但是，这个循环非常慢(硬链接(hard link) 30,000 个文件大约需要 15 分钟)。假设这是在配备高端 SSD 的非常强大的机器上运行，这是否是可以通过使用 parallel 类型的工具包装它来大大加速的任务，或者只是后台所有ln 操作，跟踪ln 操作的PID，最后检查是否所有进程都成功退出？或者，还有其他我没有考虑过的方法可以加快速度吗？

Answer 1

这应该可以解决问题。

for i in $(find /some/tmp/path -iname "*")
do
    ln "${i}" "/TEMP1/${i}" &
done
wait

让我知道它是否有效。问候!