bash - 读取数百万个文件(按一定顺序)并将它们放入一个大文件---快速

Question

在我的 bash 脚本中，我有以下内容(为了具体起见，我保留了原始名称；有时人们会询问背景等，然后原来的名字更有意义):

 tail -n +2 Data | while read count phi npa; do
   cat Instances/$phi >> $nF
 done

即跳过文件Data的第一行，然后是所有行，也就是读取格式“r c p n”，并附加文件 Instances/p 的内容提交 $nF(按照数据给出的顺序)。

在典型的例子中，数据有数百万行。所以也许我应该写一个C++ 应用程序。但是我想知道是否有人知道更快仅使用 bash 的解决方案？

Answer 1

我在这里使用 cut 代替您的 while 循环，但如果它能为您提供一些实用性，您可以重新引入它。循环必须在每次迭代中输出一次 phy 变量。

tail -n +2 Data | cut -d' ' -f 2 | xargs -I{} cat Instances/{} >> $nF

这将 cat 调用次数减少到尽可能少，这应该会提高效率。我也相信在这里使用 cut 会进一步改善。