Python 中 Pandas DataFrame 的 JSON 字典

Question

我从 API 服务获取 JSON 数据，然后我想使用 DataFrame 将数据输出到 CSV。

因此，我正在尝试将包含大约 100,000 个字典和大约 100 个键值对的字典列表(最多嵌套 4 层)转换为 Pandas DataFrame。

我正在使用下面的代码，但速度非常慢:

try:
    # Convert each JSON data event to a Pandas DataFrame
    df_i = []
    for d in data:
        df_i.append( json_normalize(d) )

    # Concatenate all DataFrames into a single one
    df = concat(df_i, axis=0)

except AttributeError:
    print "Error: Expected a list of dictionaries to parse JSON data"

有谁知道更好更快的方法吗？

Answer 1

有一个 whole section in the io docs关于直接使用 pd.read_json 读取 json(作为字符串或文件)。

您应该能够执行以下操作:

pd.concat((pd.read_json(d) for d in data), axis=0)

这通常比创建临时字典快得多。