python - 将 cx_Oracle arraysize 参数与 pandas read_sql 一起使用

Question

当使用 cx_Oracle 从 Oracle 中选择大量数据时，我发现无论是使用 pandas read_sql 还是 cx_Oracle Cursor fetchall() 方法都非常慢。

通过增加 Cursor 的 arraysize 属性，性能得到了显着提高 - 使我能够从 fetchall() 中获得不错的性能。 pandas read_sql() 将 Connection 对象作为输入，光标是在函数内创建的，因此我不清楚如何应用相同的设置并仍然利用read_sql() 函数。我错过了什么吗？

Answer 1

当使用 sqlalchemy 创建连接到数据库的引擎时，您可以传递 arraysize 参数，以便在创建游标时使用它:

import sqlalchemy
engine = sqlalchemy.create_engine("oracle+cx_oracle://user:pass@host:port/dbname", arraysize=50)
pd.read_sql("query ...", engine)

在此处查看文档:http://docs.sqlalchemy.org/en/rel_1_0/dialects/oracle.html#module-sqlalchemy.dialects.oracle.cx_oracle对于“附加连接参数”