python - SQLAlchemy ORM 是大型数据的正确选择吗？

Question

我正在开发一个 Web 应用程序，在某些时候，我需要从数据库中选择 1.000.000 行。

我的脚本如下所示:

engine = create_engine(
             "mysql://:@localhost/test",
             isolation_level="READ UNCOMMITTED",echo=False
        )

meta = MetaData(bind=engine)
meta.reflect(bind=engine)


cr =  meta.tables['cr']
bl = meta.tables['bl']

DBSession = scoped_session(
    sessionmaker(
        autoflush=True,
       autocommit=False,
         bind=engine
    )
)

test_query = session.query(bl,cr).filter(bl.c.severity_logged == '4_minor')
print test_query.all()

它不断扫描光盘并增加内存使用量，但不显示任何内容。

MySQL命令中，4秒后返回结果。如何使用 SQLALchemy 检索大量数据？

Answer 1

您使用 SQLAlchemy 的方式要求它为 bl 和 cr 创建 1,000,000 多个数据访问对象实例。无论您使用什么语言或结构执行此操作，这都会很慢。您会得到更好的结果:

• 将数据过滤到屏幕上显示的合理数量(例如 test_query.limit(100).all())或
• 完全跳过 DAO 步骤，仅将数据流式传输到其端点(在本例中为标准输出)。