python - pandas.DataFrame.to_sql 中的最佳 chunksize 参数

Question

使用需要转储到 PostgreSQL 表中的大型 pandas DataFrame。从我读过的内容来看，一次转储不是一个好主意，(我正在锁定数据库)而不是使用 chunksize范围。答案here对工作流有帮助，但我只是问影响性能的 block 大小的值。

In [5]: df.shape
Out[5]: (24594591, 4)

In [6]: df.to_sql('existing_table',
                  con=engine, 
                  index=False, 
                  if_exists='append', 
                  chunksize=10000)

是否有推荐的默认值？将参数设置得更高或更低时，性能是否存在差异？假设我有内存来支持更大的 block 大小，它会执行得更快吗？

Answer 1

在我的例子中，当我使用 pandas to_sql 函数参数作为 chunksize=5000 和 method='multi' 时，在 8 分钟内插入了 300 万行，有 5 列。这是一个巨大的改进，因为使用 Python 将 3M 行插入数据库对我来说变得非常困难。