python - 从列表创建数据框时出现内存错误

Question

我在 python 中使用 cx_oracle 运行 SQL 查询，查询结果是一个列表。如果 180 列 * 200,000+ 行，则列表的维度。每当我尝试使用 pd.DataFrame 将其转换为数据帧时，我都会遇到内存错误。现在，作为一种解决方案，我尝试通过放置过滤器来分解我的查询，或者只查询几列等，这些都是可行的。但是如果我更改一些过滤器，我会再次遇到错误，而且我不能总是确定查询将返回多少行。

所以我正在寻找可以使用的任何替代数据结构/库/包。或者无论如何我可以在 Pandas 中处理这个问题？因为我正在使用 Pandas 进行数据分析，所以我更愿意在 Pandas 而不是其他库中处理这个问题。

列表中的字段是 float 、字符串或时间戳格式。

Answer 1

尝试将数据直接读入 Pandas DataFrame:

import cx_Oracle   #  pip install cx_Oracle
from sqlalchemy import create_engine

engine = create_engine('oracle://user:password@host_or_scan_address:1521/ORACLE_SERVIVE_NAME')

df = pd.read_sql('select * from table_name where ...', engine)

PS 你可能还想使用 chunksize parameter ...