python - 将 JSON 从 Web API 转换为 Pandas 数据帧

Question

我正在尝试将从“https://api.data.gov.sg/v1/transport/carpark-availability”获取的嵌套 json 对象转换为数据帧，但在数据帧中检索到的数据不完整。
以下是我的代码:

    res = requests.get("https://api.data.gov.sg/v1/transport/carpark-availability")
    j = res.json()
    df = pd.DataFrame(j)
    print(df.head())

下面是不完整的结果:
项目
0 {'timestamp': '2021-03-10T23:07:27+08:00', 'ca ...
我想也许我需要使用 json_normalize，有人可以指教吗？

Answer 1

试试下面的

import requests
import pandas as pd
import copy

res = requests.get("https://api.data.gov.sg/v1/transport/carpark-availability")
data = res.json()
lst = data['items'][0]['carpark_data']
normalized = []
for entry in lst:
    temp = entry['carpark_info']
    for idx, x in enumerate(temp):
        _entry = copy.deepcopy(entry)
        del _entry['carpark_info']
        _entry.update(x)
        normalized.append(_entry)
df = pd.DataFrame(normalized)
print(df.head(110))

输出

    carpark_number      update_datetime total_lots lot_type lots_available
0             HE12  2021-03-10T23:41:38         91        C             51
1              HLM  2021-03-10T23:41:18        583        C            477
2              RHM  2021-03-10T23:41:38        322        C             59
3             BM29  2021-03-10T23:41:47         97        C             95
4              Q81  2021-03-10T23:41:26         96        C             73
..             ...                  ...        ...      ...            ...
105             C7  2021-03-10T23:41:47        459        C            221
106            C17  2021-03-10T23:29:09         42        C              0
107            C17  2021-03-10T23:29:09         35        Y             17
108            C17  2021-03-10T23:29:09          1        H              1
109           C20M  2021-03-10T23:41:39        551        C            440