linux - 多 cpu 核心 gzip 一个大文件

Question

我如何使用我的服务器(有 4 个内核)linux Debian 中的所有 cpu 内核来gzipping更快一个大文件？

我正在尝试使用这些命令，但我无法将它们组合在一起

获取核心数
CORES=$(grep -c '^processor'/proc/cpuinfo)


这用于将大文件分割成更多
拆分-b100 file.big


这是为了在多个内核中使用 gzip 命令
查找/source -type f -print0 | xargs -0 -n 1 -P $CORES gzip --best


我不知道这是否是优化大文件 gzip 过程的最佳方式..

Answer 1

使用pigz ，并行 gzip 实现。

与 parallel 与 gzip 不同，pigz 生成单个 gzip 流。