python - 在 Python 中解析大型 JSON 文件

Question

我正在尝试用 Python 解析一个非常大的 JSON 文件。该文件有 6523440 行，但被分成许多 JSON 对象。

结构如下:

[
  {
    "projects": [
     ...
    ]
  }
]
[
  {
    "projects": [
     ...
    ]
  }
]
....
....
....

它一直在继续......

每次我尝试使用 json.load() 加载它时我都会收到错误

ValueError: Extra data: line 2247 column 1 - line 6523440 column 1 (char 101207 - 295464118)

在第一个对象结束和第二个对象开始的那一行。有没有办法单独加载它们或类似的东西？

Answer 1

您可以尝试使用像 ijson 这样的流式 json 库:

Sometimes when dealing with a particularly large JSON payload it may worth to not even construct individual Python objects and react on individual events immediately producing some result