linux - 如何优化pigz？

Question

我正在使用 pigz 压缩一个大目录，将近 50GB，我有一个 ec2 实例，使用 RedHat，实例类型是 m4.xlarge，有 4 个 CPU，我预计压缩会吃掉我所有的东西CPU 并具有更好的性能。但它没有达到我的预期。

我正在使用的命令:

tar -cf - 储藏目录 | pigz > dest.tar.gz

但是当压缩运行时，我使用 mpstat -P ALL 检查我的 CPU 状态，结果显示其他 3 个 CPU 有很多 %idle，只有将近 2% 被用户使用每个 CPU 的空间进程。

还尝试使用 top 来检查 pigz 只使用了不到 10% 的 CPU。

尝试使用 -p 10 来增加进程数，然后它有几分钟的高使用率，但当输出文件达到 2.7 GB 时下降了。

所以我所有的 CPU 都只用于压缩，我想充分利用我所有的资源来获得最佳性能，我该如何实现？

Answer 1

如果文件压缩应用不受 CPU 限制，它们很可能受顺序 I/O 限制。

您可以通过使用 mpstat 查看系统在 iowait ('wa') 中花费的时间百分比，使用 top 或 mpstat(如果选项不是默认输出的一部分，请查看联机帮助页)来进一步调查此问题。

如果我是对的，大部分时间系统没有执行 pigz 都在等待 I/O。

您还可以使用 iostat 进一步调查此问题，它可以显示磁盘 IO。读取和写入之间的比率会随着时间的推移而变化，具体取决于当时输入的可压缩程度，但组合 IO 应该相当一致。这假设亚马逊的存储配置现在提供一致的 I/O，而过去情况并非如此。