python - 管理 MySQL 数据最快的方法是什么？ Pandas vs fetch_row

Question

我想知道我从 MySQL 收到的管理数据的常见和更好的方法是什么。

db = MySQLdb.connect(host="####", user="####", passwd="####", db="####", charset='utf8')
db.query(sql)
result = db.use_result()

我使用 use_result() 是因为数据非常大(大约 9000000 行)而且我没有太多 RAM。

之后，我每行处理这条数据线

line = result.fetch_row(maxrows=1, how=1)[0]
#creating objects from lines 

但我找到了另一种使用 pandas DataFrame 管理 MySQL 数据的方法

df = pd.read_sql_query('SQL QUERY', con= db)

所以问题很简单 - 什么更好？

附言我真的无法在我便宜的笔记本电脑上测试什么更快，因为这个程序的执行时间在 170 到 250 秒之间波动。

Answer 1

在较小的数据集上对其进行测试。

如果您不使用极小的数据集进行测试，性能将是相同的。