Python:增量编码/腌制对象？

Question

我有一个大对象，我想序列化到磁盘。我正在寻找 marshal工作得很好，又好又快。

现在我正在创建我的大对象然后调用 marshal.dump 。如果可能的话，我想避免将大对象保存在内存中——我想在构建它时逐渐转储它。这可能吗？

该对象相当简单，是一个数组字典。

Answer 1

bsddb 模块的“hashopen”和“btopen”函数提供了一个持久的类似字典的接口(interface)。也许您可以使用其中之一而不是常规字典来将数组增量序列化到磁盘？

import bsddb
import marshal

db = bsddb.hashopen('file.db')
db['array1'] = marshal.dumps(array1)
db['array2'] = marshal.dumps(array2)
...
db.close()

获取数组:

db = bsddb.hashopen('file.db')
array1 = marshal.loads(db['array1'])
...