python - 如何使用gzip有效地将许多小文件压缩为许多小.tar.gz文件？

Question

已关闭。此问题不符合 Stack Overflow guidelines 。目前不接受答案。

---

这个问题似乎不是关于 a specific programming problem, a software algorithm, or software tools primarily used by programmers 。如果您认为这个问题与 another Stack Exchange site 上的主题有关，您可以发表评论来解释问题可能在哪里得到解答。

已关闭 4 年前。

Improve this question

我有数百万个小 *.csv 文件，我想用 gzip 压缩它们。

用gzip循环压缩是可以的，但是效率不够。

我想知道是否有一种方法可以有效地做到这一点？通过多重处理或其他方式？

Answer 1

使用zstd根据Charles Duffy's comment :

cd csvdir  # go to where the million .csv files are
zstd --train `find . -name '*.csv' | shuf -n 100`
mv dictionary csv.dict
zstd -T$(nproc) -9 -D csv.dict -o csvfiles.zstd *.csv

这会根据一百个 .csv 文件的随机样本创建一个字典，然后使用所有 CPU 核心将这百万个文件有效地压缩为 csvfiles.zstd。