python - 使用 Python 进行嵌套列提取

Question

我花了几个小时尝试取消嵌套来自 json 文件的数据框中的列，但仍然无法正常工作。

我使用 GraphQl 查询了一个网站并将响应加载到变量 json 中:

json = resp.json()

接下来，我使用 json_normalize 将数据加载到数据框中:

df = pd.DataFrame.from_dict(json_normalize(resp.json()), orient='columns')

我重命名了列。

但是，数据框中仍然存在嵌套列 - 即“规则”和“楼层”:

然后我尝试通过我在 stackoverflow 上以及互联网其他地方看到的几种方法取消嵌套列:

我尝试了不同版本的嵌套列 json_normalize 以及元数据，但调用特定值的方法均无效:

  json_normalize(json, ['floors', ['units'],['features']])

还有这个:

 json_normalize(data=json, record_path=['floors', 'units','features'])

但是，在大多数情况下，我会收到 TypeError: string indices must be integers。

我尝试将值分别分配给列，但是对于其中一些为 Null 的情况，这失败了

df['pets allowed'] = json['data']['offerAggregate']['property_aggregate']['property']['rules']['code' == 'pets-allowed']['exists']

我还尝试按“代码”等关键字拆分列，但这只返回 Null

最理想的情况是，我想让选项 #1 起作用，但我确实尝试了很多版本，但仍然没有结果，因为我不确定如何适本地定义嵌套列的路径。

这是完整的架构:

{'data': {'offerAggregate': {'accommodation_offer': {'contract': {'type': 'fortnight',
     'exclusive': False,
     'is_instant_booking': False,
     'commission': 0.08,
     'deposit': {'pay_to': 'accommodation-provider',
      'type': 'equal-to-first-payment',
      'value': {'amount': 0, 'currency_code': ''}},
     'admin_fee': {'exact_value': True,
      'value': {'amount': 0, 'currency_code': 'EUR'}},
     'fixed_unitary': {'extra_per_guest': {'amount': 0, 'currency_code': ''}}},
    'reference_price': {'amount': '25000', 'currency_code': 'EUR'},
    'requisites': {'conditions': {'cancellation_policy': 'moderate',
      'minimum_nights': 27,
      'max_guests': 2}},
    'costs': {'bills': {'water': {'included': True},
      'electricity': {'included': True},
      'gas': {'included': True},
      'internet': {'included': True}},
     'services': {'cleaning': {'periodicity': 'weekly'}}}},
   'accommodation_provider': {'stats': {'bookings': {'accepted': {'total': 2},
      'requested': {'total': 10},
      'rejected': {'total': 1},
      'confirmed': {'total': 0}}},
    'created': {'at': '2018-11-02 16:51:22'}},
   'property_aggregate': {'property': {'id': '114087',
     'landlord_resident': {'gender': '', 'age_range': '', 'occupation': ''},
     'floors': [{'units': [{'features': [{'Code': 'fridge', 'Exists': True},
          {'Code': 'freezer', 'Exists': True},
          {'Code': 'oven', 'Exists': True},
          {'Code': 'stove', 'Exists': True},
          {'Code': 'washing-machine', 'Exists': True},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': False},
          {'Code': 'table', 'Exists': True},
          {'Code': 'chairs', 'Exists': True}]},
        {'features': [{'Code': 'bathtub', 'Exists': False},
          {'Code': 'shower', 'Exists': True},
          {'Code': 'sink', 'Exists': True},
          {'Code': 'toilet', 'Exists': True},
          {'Code': 'window', 'Exists': True}]},
        {'features': [{'Code': 'wardrobe', 'Exists': True},
          {'Code': 'chest-of-drawers', 'Exists': False},
          {'Code': 'desk', 'Exists': True},
          {'Code': 'chairs', 'Exists': True},
          {'Code': 'sofa', 'Exists': False},
          {'Code': 'sofa-bed', 'Exists': False},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': False},
          {'Code': 'tv', 'Exists': False},
          {'Code': 'lock', 'Exists': True}]},
        {'features': [{'Code': 'wardrobe', 'Exists': True},
          {'Code': 'chest-of-drawers', 'Exists': False},
          {'Code': 'desk', 'Exists': True},
          {'Code': 'chairs', 'Exists': True},
          {'Code': 'sofa', 'Exists': False},
          {'Code': 'sofa-bed', 'Exists': False},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': True},
          {'Code': 'tv', 'Exists': False},
          {'Code': 'lock', 'Exists': True}]},
        {'features': [{'Code': 'wardrobe', 'Exists': True},
          {'Code': 'chest-of-drawers', 'Exists': False},
          {'Code': 'desk', 'Exists': False},
          {'Code': 'chairs', 'Exists': False},
          {'Code': 'sofa', 'Exists': False},
          {'Code': 'sofa-bed', 'Exists': False},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': False},
          {'Code': 'tv', 'Exists': False},
          {'Code': 'lock', 'Exists': True}]},
        {'features': [{'Code': 'wardrobe', 'Exists': True},
          {'Code': 'chest-of-drawers', 'Exists': False},
          {'Code': 'desk', 'Exists': False},
          {'Code': 'chairs', 'Exists': False},
          {'Code': 'sofa', 'Exists': False},
          {'Code': 'sofa-bed', 'Exists': False},
          {'Code': 'window', 'Exists': True},
          {'Code': 'balcony', 'Exists': True},
          {'Code': 'tv', 'Exists': False},
          {'Code': 'lock', 'Exists': True}]}]}],
     'rules': [{'code': 'overnight-guests-allowed', 'exists': False},
      {'code': 'pets-allowed', 'exists': False},
      {'code': 'smoking-allowed', 'exists': False}],
     'typology': {'area': 0,
      'accommodation_type_code': 'private',
      'type_code': 'apartment',
      'number_of_bedrooms': 4,
      'number_of_bathrooms': 1},
     'location': {'neighborhood_id': 229,
      'geo': {'latitude': 38.7514768, 'longitude': -9.2031683},
      'address': {'postal_code': '1500-109'}},
     'verification': {'verified': True}}}}}}

提前感谢您的宝贵时间!非常感谢任何帮助!

Answer 1

json_normalize 停止在 floors 和 rules 的原因是因为它们包含 list 而不是 dictionaries，这是 json_normalize 正在等待的。

要规范化此 json，您需要将这些列表转换为类似字典的结构。因此，例如对于规则而不是这种结构:

[{'code': 'overnight-guests-allowed', 'exists': False},
  {'code': 'pets-allowed', 'exists': False},
  {'code': 'smoking-allowed', 'exists': False}]

你会想要这样的结构:

{'overnight-guests-allowed': False,
 'pets-allowed': False},
 'smoking-allowed': False}