个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我在内存中的树中存储了一些数据，并且我定期使用 pickle 将树存储到磁盘中。最近我注意到该程序使用了很大的内存，然后我检查了保存的pickle文件，大约有600M，然后我编写了另一个小测试程序将树加载回内存，我发现它会占用近10倍的内存( 5G)比磁盘上的大小，这正常吗？避免这种情况的最佳方法是什么？
最佳答案
不，这不正常。我怀疑你的树比你想象的还要大。编写一些代码来遍历它并添加所有使用的空间(并计算节点数)。
参见memory size of Python data structure
还有你到底想问什么？磁盘上 600M 的数据结构在内存中却是 5G，你是否感到惊讶？这并不特别令人惊讶。 Pickle 会压缩数据，因此您预计磁盘上的数据会更小。它小了 10 倍(大约)，这非常好。
如果您对自己的数据大小感到惊讶，那就是另一回事了。
关于python - pickle 和 python 数据结构，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36095441/
25
4
0
假设我有一个 A 类和一个派生自 A 的 B 类。我想 pickle/unpickle B 类的一个实例。A 和 B 都定义了 __getstate__/__setstate__ 方法(假设 A
似乎有两种方法可以将指标推向 Graphite /碳， 线路接收器 pickle 接收器 根据文档 http://graphite.readthedocs.org/en/1.0/feeding-car
Perforce命令行有一个特殊的开关-G，它使用python的“pickle”序列化格式可以使输出成为机器可读的。一般来说，实际上是这样吗？ 例如，考虑p4 -G diff -duw3 的输出。
如何从 BytesIO 对象写入和读回 pickled 数据？ 我尝试过: import io import cPickle as pickle s1 = "foo" bytes_io = io.By
我有两个文件: x.py class BF(object) def __init__(): . . def add(self,z): . . y.py from y
在 post昨天发帖，无意中发现改了__qualname__函数对 pickle 有意想不到的影响.通过运行更多测试，我发现在对函数进行 pickle 时，pickle不像我想的那样工作，改变 __q
为什么 pickle 重用现有的 Python 类“C”而不是从 pickle 字节重建类？有没有一种方法可以在没有副作用的情况下 pickle 和解 pickle ？ 这是我的回复 session
我使用 mpi4py 将一些计算拆分到多个过程中。基本上我只是计算一些凸包的体积，这是我使用 tvtk 和 mayavi 创建的。 只有第一个过程导入这些库: ... if rank==0: f
我正在用 pygame 制作一个绘图程序，我想在其中为用户提供一个选项来保存程序的确切状态，然后在稍后重新加载它。在这一点上，我保存了我的全局字典的副本，然后遍历， pickle 每个对象。 pyga
所以，我有一个对象，里面有很多不可 pickle 的东西(pygame 事件、orderedDicts、时钟等)，我需要将它保存到磁盘。 事情是，如果我可以让这个东西存储一个有进度的字符串(我只需要一
import pickle variety = ["sweet", "box", "cat"] shape = ["back","spear", "log"] pickleFile = open("
我有一个关于 gensim 的问题。我想知道在保存或加载模型(或多个模型)时是否建议或需要使用 pickle，因为我在 GitHub 上找到了可以使用的脚本。 mymodel = Doc2Vec(do
我正在使用 python3.6/。我使用 protocol=pickle.HIGHEST_PROTOCOL pickle 了我的文件 当我按如下方式加载时: with open('data.sav',
给定一个像这样的任意Pythonic对象: class ExampleObj(object): def __init__(self): self.a = 'a'
简介 我有一本具有以下格式的字典: dict_list = {'S0':[[list of int],[list of int]], 'S1':[[list of int],[list of int]
我想知道这个错误可能意味着什么: PicklingError: Can't pickle : attribute lookup __builtin__.function failed 我理解这与使用多
我对 python 变量持久性有点困惑，在我的代码中，我使用以下代码使模型参数在某些迭代期间持久化 with open('W_Hs_Hu_iter'+str(inx)+'.pickle', 'wb'
当对象通过其属性之一引用自身时，从带有插槽的类中挑选对象的正确方法是什么？这是一个简单的示例，使用我当前的实现，我不确定它是否 100% 正确: import weakref import pickl
我有数千个长 (8640) 整数列表元组。例如: type(l1) tuple len(l1) 2 l1[0][:10] [0, 31, 23, 0, 0, 0, 0, 0, 0, 0] l1[1][
我有一个对象 gui_project，它有一个属性 .namespace，这是一个命名空间字典。 (即从字符串到对象的字典。) (这在类似 IDE 的程序中使用，让用户在 Python shell 中
我是一名优秀的程序员,十分优秀！