python - 为什么使用 py-leveldb 的 WriteBatch 会导致内存泄漏？

Question

所以我正在编写一个 Python 脚本，用于使用 leveldb 数据库(py-leveldb)按地址索引比特币区 block 链，并且它不断消耗越来越多的内存，直到它崩溃。我已经在下面的代码示例中复制了该行为。当我运行代码时，它会继续使用越来越多的内存，直到耗尽我系统上的可用 RAM，进程要么被终止，要么抛出“std::bad_alloc”。

我做错了什么吗？我不断地写入批处理对象，并每隔一段时间提交一次，但即使我在 WriteBatch 对象中提交数据，内存使用量仍在不断增加。我什至在提交后删除了 WriteBatch 对象，据我所知，这不可能是导致内存泄漏的原因。

我的代码是以错误的方式使用 WriteBatch 还是 py-leveldb 中存在内存泄漏？

代码需要 py-leveldb 才能运行，从这里获取:https://pypi.python.org/pypi/leveldb

警告:如果运行此代码的时间足够长，将会耗尽您的内存。不要在关键系统上运行。此外，它会将数据写入与脚本运行所在的同一文件夹中的文件夹，在我的系统上，该文件夹在内存耗尽之前包含大约 1.5GB 的数据库文件(它最终消耗了超过 3GB 的 RAM)。

代码如下:

import leveldb, random, string

RANDOM_DB_NAME = "db-DetmREnTrKjd"
KEYLEN = 10
VALLEN = 30
num_keys = 1000
iterations = 100000000
commit_every = 1000000

leveldb.DestroyDB(RANDOM_DB_NAME)
db = leveldb.LevelDB(RANDOM_DB_NAME)

batch = leveldb.WriteBatch()

#generate a random list of keys to be used
key_list = [''.join(random.choice(string.ascii_uppercase + string.digits) for x in range(KEYLEN)) for i in range(0,num_keys)]

for k in xrange(iterations):
    #select a random key from the key list
    key_index = random.randrange(0,1000)
    key = key_list[key_index]

    try:
        prev_val = db.Get(key)
    except KeyError:
        prev_val = ""

    random_val = ''.join(random.choice(string.ascii_uppercase + string.digits) for x in range(VALLEN))
    #write the current random value plus any value that might already be there
    batch.Put(key, prev_val + random_val)

    if k % commit_every == 0:
        print "Comitting batch %d/%d..." % (k/commit_every, iterations/commit_every)
        db.Write(batch, sync=True)
        del batch
        batch = leveldb.WriteBatch()

db.Write(batch, sync=True)

Answer 1

您真的应该尝试使用 Plyvel。参见 https://plyvel.readthedocs.org/ .它有更简洁的代码、更多的特性、更快的速度和更多的测试。我用它批量写入相当大的数据库(20+ GB)，没有任何问题。

(完全披露:我是作者。)