json - 解压缩巨大的 json gzip 文件导致 python 中的内存错误

Question

我遇到了以下问题。我正在使用内存较低(1 GB)的小型机器。我的程序从某个网址下载一个巨大的 gzip 文件。我需要将其解压缩为 dict 我确信该文件是 json 格式。我的问题是，运行以下命令后出现内存错误:

data = zlib.decompress(url, 16 + zlib.MAX_WBITS).decode('utf8')
results_list.append(json.loads(data ))

现在对于小文件来说这工作正常，但是对于大文件我收到了错误。我的直觉告诉我，我应该将文件分割成 block ，但是因为我期待一个 json 文件，所以我无法将 block 恢复为 json (因为每个部分都不是有效的 json 字符串)。

我应该做什么？

非常感谢!

Answer 1

使用z=zlib.decompressobj()创建一个解压对象，然后执行z.decompress(some_compressed_data, max)，这将返回不超过max 字节的未压缩数据。然后，您再次使用 z.decompress(z.unconsumed_tail, max) 进行调用，直到剩余的 some_compressed_data 被消耗，然后向其提供更多压缩数据。

然后您将需要能够一次处理一个 block 所产生的未压缩数据。