java - 解压缩大文件(~80 GB)- 使用 Java 或 shell 脚本

Question

我有一个 Java 应用程序，需要从中解压缩大约 80 GB 的 GZIP 文件。我应该使用 Java API 解压缩还是应该调用 bash 脚本来解压缩文件？哪一个会更有效率？我可能有超过 1 个 zip 文件，因此我可以在每次解压时使用多个线程吗？我的环境是基于Linux的

Answer 1

gunzip 命令比基于 Java 的解压缩方法更快，因为它是 native 代码，经过高度优化。

您可以使用 bash 在单独的进程中解压缩每个文件，它可能会更快，但由于磁盘访问瓶颈，速度不会像您预期的那么快。

当然，尽管瓶颈仍然存在，但如果使用 SSD 驱动器或在单独的磁盘上并行解压缩多个文件，则可以将瓶颈降至最低。