gpt4 book ai didi

python - 从 MySQL 写入文件时出现内存问题

转载 作者:行者123 更新时间:2023-11-29 20:56:30 25 4
gpt4 key购买 nike

db.connect()
sentenceTB = sentenceTB.select()
for i, sentence in enumerate(sentenceTB):
with open('./commentary/sentence%i.txt' %i, 'w', encoding='utf-8') as f:
f.write(sentence.SNTENC)
db.close()

我使用此代码连接到数据库,选择一个表并将该表中的所有内容写入一个单独的文件。该表有超过 100 万条记录,一开始运行得很好,但是当代码开始写入第 900 000 条记录时,计算机速度大大减慢。 PyCharm 不断要求我为其分配更多内存,如果前 500k 条记录在 1 小时内完成,那么现在他需要 1 小时才能写入 50-100 条记录。

我认为它应该以某种方式与释放内存有关,但我真的不知道该怎么做。

如有任何帮助,我们将不胜感激。

最佳答案

需要关闭光标吗?看起来每次迭代都会打开一个新的,这可以解释几十万次迭代后内存不足的原因。

db.connect()句子TB = 句子TB.select()对于 i,枚举中的句子(sentenceTB): with open('./commentary/sentence%i.txt' %i, 'w',encoding='utf-8') as f: f.write(句子.SNTENC) 光标.close()db.close()

关于python - 从 MySQL 写入文件时出现内存问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37581407/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com