gpt4 book ai didi

python - 带有生成器的 PyMongo 批量写入操作特性

转载 作者:可可西里 更新时间:2023-11-01 09:58:00 25 4
gpt4 key购买 nike

我想使用 PyMongo 的 bulk执行写操作的写操作功能分批处理以减少网络往返次数并增加仪式吞吐量。

我还找到了here可以使用 5000 作为批号。

但是,我不想要批号的最佳大小以及如何在以下代码中将 PyMongo 的批量写入操作功能与生成器相结合?

from pymongo import MongoClient
from itertools import groupby
import csv


def iter_something(rows):
key_names = ['type', 'name', 'sub_name', 'pos', 's_type', 'x_type']
chr_key_names = ['letter', 'no']
for keys, group in groupby(rows, lambda row: row[:6]):
result = dict(zip(key_names, keys))
result['chr'] = [dict(zip(chr_key_names, row[6:])) for row in group]
yield result


def main():
converters = [str, str, str, int, int, int, str, int]
with open("/home/mic/tmp/test.txt") as c:
reader = csv.reader(c, skipinitialspace=True)
converted = ([conv(col) for conv, col in zip(converters, row)] for row in reader)
for object_ in iter_something(converted):
print(object_)


if __name__ == '__main__':
db = MongoClient().test
sDB = db.snps
main()

test.txt 文件:

  Test, A, B01, 828288,  1,    7, C, 5
Test, A, B01, 828288, 1, 7, T, 6
Test, A, B01, 171878, 3, 7, C, 5
Test, A, B01, 171878, 3, 7, T, 6
Test, A, B01, 871963, 3, 9, A, 5
Test, A, B01, 871963, 3, 9, G, 6
Test, A, B01, 1932523, 1, 10, T, 4
Test, A, B01, 1932523, 1, 10, A, 5
Test, A, B01, 1932523, 1, 10, X, 6
Test, A, B01, 667214, 1, 14, T, 4
Test, A, B01, 667214, 1, 14, G, 5
Test, A, B01, 67214, 1, 14, G, 6

最佳答案

你可以简单地做:

sDB.insert(iter_something(converted))

PyMongo 将做正确的事情:迭代您的生成器,直到生成 1000 个文档或 16MB 的数据,然后在将批处理插入 MongoDB 时暂停生成器。插入批处理后,PyMongo 会恢复您的生成器以创建下一批处理,并继续直到插入所有文档。然后 insert() 返回插入文档 ID 的列表。

this commit 中向 PyMongo 添加了对生成器的初始支持从那时起,我们就一直支持文档生成器。

关于python - 带有生成器的 PyMongo 批量写入操作特性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26580944/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com