python - 用python组织tar bz2文件中的文件

Question

我有大约 200,000 个文本文件放在一个 bz2 文件中。我遇到的问题是，当我扫描 bz2 文件以提取我需要的数据时，速度非常慢。它必须查看整个 bz2 文件才能找到我要查找的单个文件。有什么办法可以加快速度吗？

另外，我考虑过可能在 tar.bz2 中组织文件，这样我就可以让它知道去哪里找。有没有办法组织放入 bz2 的文件？

更多信息/编辑:我需要查询每个文本文件的压缩文件。有没有更好的压缩方式可以支持如此大量的文件并且压缩的如此彻底？

Answer 1

你必须使用 bzip2 吗？阅读它的 documentation ，很明显它不是为支持随机访问而设计的。也许您应该使用更符合您要求的压缩格式。良好的旧 Zip 格式支持随机访问，但当然可能压缩得更差。