python - Pandas 与 JSON 库在 Python 中读取 JSON 文件

Question

看来我可以使用 pandas 和/或 json 来读取 json 文件，即

import pandas as pd
pd_example = pd.read_json('some_json_file.json')

或者，等价地，

import json
json_example = json.load(open('some_json_file.json'))

所以我的问题是，有什么区别以及我应该使用哪一个？是否推荐一种方法而不是另一种方法，是否在某些情况下一种方法比另一种方法更好，等等？谢谢。

Answer 1

视情况而定。

当 json 文件中有单个 JSON 结构时，请使用 read_json 因为它将 JSON 直接加载到 DataFrame 中。使用 json.loads，您必须将其加载到 python 字典/列表中，然后加载到 DataFrame 中 - 这是一个不必要的两步过程。

当然，这是假设该结构可以直接解析为DataFrame。对于不平凡的结构(通常是复杂的嵌套字典列表的形式)，您可能需要使用 json_normalize 来代替。

另一方面，使用 JSON lines 文件，情况就变得不同了。根据我的经验，我发现使用 pd.read_json(...,lines=True) 加载 JSON 行文件实际上在大数据上稍微慢(在一次约 50k+ 条记录)，更糟糕的是，无法处理有错误的行 - 整个读取操作失败。相比之下，您可以在文件的每一行上使用 try- except 大括号内的 json.loads 来获得一些健壮的代码，实际上最终会更快地点击几下。想想吧。

根据情况使用任何适合的东西。