python - 将大型 csv 文件解析为 tinydb 需要很长时间

Question

我有一个包含 15 列和大约 100 万行的大型 csv 文件。我想将数据解析到 tinyDB 中。我使用的代码如下:

import csv
from tinydb import TinyDB

db = TinyDB('db.monitor')
table = db.table('Current')

i=0

datafile = open('newData.csv', 'rb')
data=csv.reader(datafile, delimiter = ';')

for row in data:
    table.insert({'WT_ID': row[0], 'time': row[1], 'MeanCurrent': row[2], 'VapourPressure': row[3], 'MeanVoltage':row[4], 'Temperature': row[5], 'Humidity': row[6], 'BarPressure': row[7], 'RPM': row[8], 'WindSector': row[9], 'WindSpeed': row[10], 'AirDensity': row[12], 'VoltageDC': row[13], 'PowerSec': row[14], 'FurlingAngle': row[15]})
    i=i+1
    print i

然而，它真的需要永远。我已经设置了 i 变量来跟踪进度，虽然在第一行它运行得很快，但现在已经一个多小时了，它已经以接近 1Hz 的速度解析了大约 10000 行

我找不到类似的东西，所以任何帮助将不胜感激

谢谢

Answer 1

TinyDB 是最佳选择吗？您似乎需要一个事务性数据库，而 TinyDB 是面向文档的。最重要的是，来自文档:Wy not use TinyDB

If you need advanced features or high performance, TinyDB is the wrong database for you

您的进程运行非常慢，因为您正在将数据累积到 RAM 中。作为一种解决方法，您可以将 csv 拆分为较小的主干并用它填充脚本。这样，每次迭代之间的内存都可以是干净的。

tinyDB 完全无法管理如此多的信息。