python - Pandas Dataframe csv 到 Sql 使用 'multi' 方法生成错误

Question

我正在将大量数据从本地 csv 文件移动到基​​于 Azure 的 SQL 数据库中。我正在使用 sqlalchemy 和 ODBC 驱动程序 17 block 大小为 5,000。

如果我不在最终的 DF to_sql 中打开 multi 方法，一切都很好。数据框是从 csv 读取的 9 列数据框

打开多方法时收到的错误消息是:"('SQL 包含 -20536 个参数标记，但提供了 45000 个参数', 'HY000')"45,000 可能是 9 列乘以 5,000 个 block ，这是有道理的。但是为什么SQL包含-20536让我很头疼。

非常感谢。我的代码如下所示:

import pyodbc
import urllib
from sqlalchemy import create_engine,Table,MetaData
import pandas as pd
from datetime import datetime

params = urllib.parse.quote_plus("DRIVER={ODBC Driver 17 for SQL Server};SERVER=tcp:oac- 
data1.database.windows.net,1433;DATABASE=OAC Analytics;UID=xxxxxx;PWD=xxxxx")
chunk = 5000
engine = create_engine("mssql+pyodbc:///?odbc_connect=%s" % params)
conn=engine.connect()
DF_DFS = pd.read_csv('xxxxx\Fact-Qikids-DFS.csv', header=0)
DF_DFS = DF_DFS[['Campus ID','Date','Age Group','Room #','Booking type','Absence','Attendances','Fees 
Charged','Version']]
DF_DFS.to_sql('QikKids-DFS-Parsed',con=conn,if_exists='append',index=False,chunksize = 
chunk,method='multi')

Answer 1

我发现另一种选择是打开 fast_executemany

唯一需要注意的是它要求索引打开