python - 将内存中的变量保存到文件中

Question

我有一个 2280 字节的字典，根据

sys.getsizeof(myDictionary)

当我用 pickle 将其保存到文件时

with open("dictionary.txt", "wb") as fp:   #Pickling
    pickle.dump(myDictionary, fp)

大小突然变成了 100KB 左右

我是否可以获取该字典的精确二进制表示并将其保存到文件中？然后再次以字典形式访问该文件？

或者如果不可能，也许可以使用另一种编程语言？该文件尽可能小很重要

Answer 1

引自 docs关于sys.getsizeof:

Only the memory consumption directly attributed to the object is accounted for, not the memory consumption of objects it refers to.

嗯，Python 中的对象经常引用其他对象，所以 getsizeof 在这里可能没有多大帮助。

例如:

>>> a = {'a': 1, 'b': 2}
>>> sys.getsizeof(a)
240 # WUT
len(pickle.dumps(a))
28 # looks legit

然后执行:

>>> p = [1,2,3,4,5]
>>> a['k'] = p
>>> sys.getsizeof(a)
240 # WUT
>>> len(pickle.dumps(a))
51 # looks legit

因此，显然，该对象消耗的内存量取决于表示形式。如果您只想保存字典，那么，您将不得不只保存一堆基本上无处可去的指针(因为当您加载保存的数据时，它们将无效)。您可以使用this recursive recipe查找对象及其内容的大小。

如果您希望文件尽可能小，请考虑压缩字典中的值或使用不同的数据表示形式。