linux - tar 查询 :How to speedup tar for many files in . tgz 文件

Question

我在 sample.tgz 中有大约数千个(大约 20000 个)文件，当我使用 tar-xf 进行解压缩时需要超过 5 分钟。我想将它加速到一分钟内。我采用的方法我正在考虑使用 -T 选项获取 .tgz 文件中的所有文件名，然后分批并行运行 tar，例如 500 个文件名。

有人可以建议更好的方法吗？请注意，我必须只在这里使用 tar，而不是任何其他实用程序，如 pigz 和 parallel 等。

同样，如果有人可以建议更快地压缩它的方法，那也会有所帮助。

也不是说我的 sample.tgz 文件中没有 .tgz 文件。

Answer 1

Tarball 是线性归档(模仿以它们命名的媒体；Tape ARchive)，因此在解压缩之前不能很好地并行化。使用 LZ4 等算法加速解压操作会有所帮助，但是如果您遇到 gzipped tarball，那么唯一可以加快速度的方法就是使用 pigz 而不是 gzip 将其解压缩为 .tar 文件，然后从那里提取文件。