python - Pandas/Python 破坏 DataFrame 中的 JSON 数据

Question

我正在与 API 交互并取回 JSON 数据。在 JSON 对象的顶层，我有“常规”数据，但某些字段具有更高级的结构:

{
    "foo": 1,
    "bar": "string",
    "spam": {
                "egg":"green",
                "ham":"yum",
                "ran": {
                        "out_of":"fake_words"
                       }
            }
}

我需要将这些高级结构(“垃圾邮件”)保留为有效的 JSON

我正在使用 Requests 获取数据并将其加载到 Pandas DataFrame 中，如下所示:

api_result = api.get_data().json()     #the json output of the Request object
df = read_json(json.dumps(api_result))

这为我提供了一个包含三列的漂亮 DataFrame，正如我所期望的(这也是我想要的)。问题来自字符串:

foo    bar        spam
1      'string'   {'egg':'green','ham':'yum','ran':{'out_of':'fake_words'}

Pandas 或 Python 已将我数据中的所有字符串更改为单引号 (') 而不是有效的 JSON 双引号 (")。此行为破坏了所有期望有效 JSON 对象的下游处理，因为所有引号现在都是单引号引号。

编辑 --> 我的程序写出一个 csv，该 csv 被摄取到数据库表中，期望许多字段中的有效 JSON。许多其他进程使用此表进行进一步分析和数据准备。 <--编辑

有没有办法告诉 Pandas/Python 停止将我的字符串从双引号更改为单引号？我知道一般的让步是单引号更像 Pythonic，但现在它们毁了我的一切。

谢谢!

Answer 1

如果你想在 Python 中生成有效的 JSON，最好的途径是内置的 json 包。您可以使用 dumps 函数从 Python 字典创建有效的 JSON 字符串:

>>> import json
>>> data = {'egg':'green','ham':'yum','ran':{'out_of':'fake_words'}}
>>> json.dumps(data)
'{"ham": "yum", "ran": {"out_of": "fake_words"}, "egg": "green"}'

---

根据编辑的问题编辑答案:

问题在于，当您将 JSON 读入 Pandas 数据帧时，它会将所有内容 转换为 Python 对象。在您的例子中，JSON 字符串被转换为 Python 字典，当您打印结果时，它会显示字典的 Python 字符串表示形式。这种表示几乎像 JSON，但又不是 JSON。

您需要做的是将数据框中的字典转换为有效的 JSON 字符串。要在 "spam" 列中执行此转换，您可以使用 apply() 方法调用，例如

data['spam'] = data['spam'].apply(json.dumps)

现在该列包含 JSON 字符串而不是 Python 字典。