python - 如何打开和读取内存中的 LZMA 文件

Question

我有一个巨大的文件，我们称它为 one-csv-file.xz。它是一个 XZ 压缩的 CSV 文件。

如何在不首先将文件解压缩到磁盘的情况下打开并解析文件？例如，如果文件是 100 GB 怎么办？当然，Python 不能一次将所有这些读入内存。它会分页还是内存不足？

Answer 1

您可以遍历 LZMAFile 对象

import lzma  # python 3, try lzmaffi in python 2
with open('one-csv-file.xz') as compressed:
    with lzma.LZMAFile(compressed) as uncompressed:
        for line in uncompressed:
            do_stuff_with(line)