python - 高效更新 Pandas sql

Question

我正在使用 python pandas 从 MySQL 数据库加载数据，更改，然后更新另一个表。有 100,000 多行，因此 UPDATE 查询需要一些时间。

有没有比使用 df.iterrows() 并为每一行运行 UPDATE 查询更有效的方法来更新数据库中的数据？

Answer 1

这里的问题不是 pandas，而是 UPDATE 操作。每行都会触发自己的 UPDATE 查询，这意味着数据库连接器需要处理大量开销。

你最好使用 df.to_csv('filename.csv')将数据帧转储为 CSV 的方法，然后使用 LOAD DATA INFILE 将该 CSV 文件读入您​​的 MySQL 数据库

将其加载到新表中，然后DROP 旧表并将新表RENAME 改成旧表。

此外，我建议您在将数据加载到 pandas 中时也这样做。使用 SELECT INTO OUTFILE MySQL 命令，然后使用 pd.read_csv() 将该文件加载到 pandas 中方法。