linux - 如何在 tar 期间限制内存使用

Question

我需要压缩(或压缩)超过 270 万个文件。 (150GB)

但是，对于如此多的文件，tar 命令使用了太多内存，我的系统崩溃了。我能做什么？

tar -cf /path/filename.tar /path_to_file/

我尝试根据文件创建日期和 find 分批执行此操作(多个 tar 文件也可以)，但 find 占用更多内存。

Answer 1

不确定这是否是一个准确的答案，因为它没有说明如何显式降低 tar 的内存使用量，但是......

我认为您可以指定与 tar 一起使用的压缩程序以使用 pigz(并行 gzip)，然后指定要使用的线程数以更好地帮助管理内存。也许是这样的:

tar cvf - paths-to-archive | pigz -p 4 > archive.tar.gz

其中 -p $NUM 是核心数。