python - Python 重新编码 JSON 文件

Question

我有一个艰巨的任务，就是从一种格式下载一个json文件，并以其他格式重新编码以上传到MongoDB中。我的 json 文件来自 Alpha Vantage ( https://www.alphavantage.co/query?function=TIME_SERIES_INTRADAY&symbol=MSFT&interval=1min&apikey=demo )，具有以下格式。

"Time Series (1min)": {
    "2018-07-13 16:00:00": {
        "1. open": "105.4550",
        "2. high": "105.5600",
        "3. low": "105.3900",
        "4. close": "105.4300",
        "5. volume": "2484606"
    },
    "2018-07-13 15:59:00": {
        "1. open": "105.5300",
        "2. high": "105.5300",
        "3. low": "105.4500",
        "4. close": "105.4600",
        "5. volume": "216617"
    }

我需要根据以下架构使用日、小时和分钟作为键重新编码文件。

{
'2018-07-13': {
    '16': {
        '00': {'open': 105.4550,
              'high': 105.5600,
              'low': 105.3900,
              'close': 105.4300,
              'volume': 2484606,}
        }
    }
'2018-07-13': {
    '15': {
        '59': {'open': 105.53000,
              'high': 105.5300,
              'low': 105.4500,
              'close': 105.4600,
              'volume': 6484606,}
        }
    }
}

我做了很多研究，但我没有弄清楚如何使用循环构建具有多个键的字典，同时我读取了我想在字典中重新编码的json文件.

Answer 1

我同意，如果您不习惯使用嵌套数据结构，这可能会有点令人困惑，但如果您小心的话，这并不难。诀窍是创建内部字典(如果它们尚不存在)。我们可以通过 dict.setdefault 来做到这一点方法。

我们还需要将内部数据从字符串转换为数字。但是如果数字不包含小数点，我们希望它们是整数，否则我们需要 float 。我的 str_to_num 函数中显示了执行此操作的常用方法。首先，我们尝试转换为整数，如果失败，我们将转换为 float 。如果由于数据错误而失败，程序将引发 ValueError 异常并终止。您可能希望以不同的方式处理该问题，例如忽略不良数据。

我假设您知道如何使用“时间序列(1 分钟)” 键从最外层提取所需的数据。下面的代码使用标准 json 模块只是将新格式的数据转换回 JSON，以便我们可以很好地打印它。

import json

alpha_data = {
    "2018-07-13 16:00:00": {
        "1. open": "105.4550",
        "2. high": "105.5600",
        "3. low": "105.3900",
        "4. close": "105.4300",
        "5. volume": "2484606"
    },
    "2018-07-13 15:59:00": {
        "1. open": "105.5300",
        "2. high": "105.5300",
        "3. low": "105.4500",
        "4. close": "105.4600",
        "5. volume": "216617"
    }
}

def str_to_num(s):
    try:
        n = int(s)
    except ValueError:
        n = float(s)
    return n

# Where we'll store the output
out_data = {}

for timestamp, data in alpha_data.items():
    datestr, timestr = timestamp.split()
    hr, mn, _ = timestr.split(':')
    # Fetch inner dicts, creating them if they don't exist yet
    d = out_data.setdefault(datestr, {})
    d = d.setdefault(hr, {})
    d[mn] = {k.split()[1]: str_to_num(v) for k, v in data.items()}

print(json.dumps(out_data, indent=4))  

输出

{
    "2018-07-13": {
        "16": {
            "00": {
                "open": 105.455,
                "high": 105.56,
                "low": 105.39,
                "close": 105.43,
                "volume": 2484606
            }
        },
        "15": {
            "59": {
                "open": 105.53,
                "high": 105.53,
                "low": 105.45,
                "close": 105.46,
                "volume": 216617
            }
        }
    }
}

您会注意到我的输出与您想要的输出并不完全相同。这是因为 Python 字典中的键是唯一的:同一个 dict 中不能有两个键为 "2018-07-13" 的项目。因此，我的代码在 out_data 中创建一个 dict ，键为 "2018-07-13" ，并在该字典内为每个创建一个字典小时，根据需要。