python : odbc data load error

Question

我使用pyodbc导入sql大数据。但没有错误，没有保存文件，也没有消息。(数据有 300000 行和 600 列)

如何在python odbc中加载大数据？

这是我的代码:

import pyodbc
import pandas as pd

H2=pyodbc.connect('DRIVER={SQL Server}; SERVER={192.168.x.x};DATABASE={H2};UID=hoho;PWD=haha')
cursor=H2.cursor()
cursor.execute("Select  * From [dbo].[HIST_UTDATA001_201506]")
fieldnames1=[f[0] for f in cursor.description]
result=[]
result=cursor.fetchmany(1000)
b1=result
while b1:

      b1=cursor.fetchmany(1000)
      if not b1:
            break
      result.extend(b1)


df = pd.DataFrame(result,columns=[fieldnames1])
df.to_csv('TEST1.csv')

Answer 1

您很可能内存不足。仅包含整数(8 字节)的列将需要(大约)16 个额外字节来存储 Python 对象和指向它们的指针。每列 24 个字节。将这些数字加起来，您至少需要 24 * 600 * 300,000 = 4,320,000,000 字节。您将需要更多的字符串。

你可以尝试turbodbc 。它比 pyodbc 更快，并提供内置的 NumPy 支持以避免使用 Python 对象来表示数字。这可能会减少您的内存消耗。