python - 将 LMDB 复制到另一个 LMDB 可减少文件大小

Question

对现有 lmdb 中的数据进行混洗 ( Trying to solve this problem )。我检索了数据，整理并写回新的 lmdb。但是当我检查 lmdb 文件大小时，它减小了。旧 lmdb 文件大小:3792896，但新 lmdb 文件大小:2314240。

已实现的Python代码:

import lmdb
from random import shuffle

lst_data = [];

env = lmdb.open('val_3', readonly=True);
with env.begin() as txn:
    cursor = txn.cursor();
    for key, value in cursor:
        innerlst_data = [key,value];
        lst_data.append(innerlst_data);

shuffle(lst_data);

env1 = lmdb.open('mod_val_3');
with env1.begin(write=True) as txn1:
    for i in range(len(lst_data)):
        str_id = '{:08}'.format(i);
        txn1.put(str_id.encode('ascii'),lst_data[i][1]);

代码引用取自here 。任何建议/想法都会有帮助。

Answer 1

您可以使用mdb_stat查看数据库中的条目数。这应该确认您的副本是否正常工作。