python - 读取相当大的 JSON 文件-6ren

python - 读取相当大的 JSON 文件

转载作者：行者123 更新时间：2023-12-05 07:35:12

<分区>

我有一些大的 json 编码文件。最小的是300MB；其余的是数 GB，从大约 2GB 到 10GB+ 不等。

我似乎在尝试用 Python 加载文件时内存不足。

我尝试使用这段代码来测试性能:

from datetime import datetime
import json

print datetime.now()

f = open('file.json', 'r')
json.load(f)
f.close()

print datetime.now()

不足为奇，这会导致 MemoryError。看起来 json.load() 调用了 json.loads(f.read())，它试图首先将整个文件转储到内存中，这显然不是t 去上类。

我怎样才能彻底解决这个问题？

我知道这是旧的，但我不认为这是重复的。虽然答案是一样的，但问题是不同的。在“重复”中，问题是如何有效地读取大文件，而这个问题处理的是根本无法放入内存的文件。效率不是必需的。

javascript - 如何优化我的网页(相当大)？
我正在开发一个网络应用程序... 应用程序运行良好，但问题是我第一次在浏览器中打开应用程序时显示空白页面，我必须点击刷新三四次才能完整正确地加载页面...... 我认为我的应用程序太重而无法加载，但是

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章