python - Pandas json_normalize 无法在 Python 中处理大型 JSON 文件

Question

我正在尝试使用 json_normalize() 函数将一个大的(大约 900 MB)json 文件规范化为一个 pandas DataFrame。这适用于我正在处理的所有其他文件(大小在 150-500 MB 之间)，尽管每个文件都需要几分钟才能完成。然而，对于这个文件，它似乎永远运行并且永远不会完成。我尝试在规范化之前使用 read_json() 将 json 文件直接读取到 DataFrame 中，以及使用 json.loads() 从文件中简单地加载 json。两种方法都有相同的结果。我使用的代码是:

import pandas as pd
import json

path = mf.getPath('dataFile.json')
testTrials = json.loads(open(path)) #testTrials = pd.read_json(path)
testTrials = json_normalize(testTrials['rows'])

Answer 1

您可以将大的 JSON 文件分成几个 block ，一次处理一个 block 。代码如下:

from itertools import zip_longest

def grouper(iterable, n, fillvalue=None):
    "Collect data into fixed-length chunks or blocks"
    # grouper('ABCDEFG', 3, 'x') --> ABC DEF Gxx"
    args = [iter(iterable)] * n
    return zip_longest(*args, fillvalue=fillvalue)

dfs = []
chunk_size = 1000
for json in grouper(jsons,chunk_size):
    df = json_normalize(json)
    dfs.append(df)
pd.concat(dfs)