python - 我如何才能可靠地访问一个太大而无法加载到内存中的 JSON 文件中的单个键值对？

Question

我正在尝试从我的文件中检索人员的姓名。文件大小为 201GB

import json

with open("D:/dns.json", "r") as fh:
    for l in fh:
        d = json.loads(l)
        print(d["name"])

每当我尝试在 Windows 上运行这个程序时，我都会遇到内存错误，提示内存不足。

有没有一种可靠的方法可以在不加载整个文件的情况下解析单个键值对？我已经在脑海中分块阅读文件，但我不知道如何开始。

这是示例:test.json

每行由换行符分隔。希望这会有所帮助。

Answer 1

您可能想尝试一下 ijson:https://pypi.python.org/pypi/ijson