Python SQL 炼金术 : Efficient Query and For Loop

Question

我正在尝试使用 SQLalchemy 从 SQL 数据库中查询大量数据。

some_data = db.session.query(some_info1, some_info2).all()

for key in some_data:
  # do something

SQL 查询大约需要 10 秒，for 循环大约需要 0.2 秒。

我也尝试了生成器方式。

some_data = db.session.query(some_info1, some_info2)

generator = (x for x in attendee_profile)

for key in generator:
  # do something

SQL 查询大约需要 0.04 秒，for 循环大约需要 10 秒。

有没有办法更有效地做到这一点？我特别怀疑使用生成器的 for 循环的 10 秒，我的意思是，使用生成器这么慢吗？

需要说明的是，我的目标是减少所花费的总时间(不是查询时间或 for 循环时间)。

Answer 1

不幸的是，在这两种情况下，您的 SQL 查询都需要 10 秒。在第一个示例中，query(someinfo1, someinfo2).all() 实际上是在执行查询。 .all() 强制执行查询。

在第二个示例中，query(someinfo1, someinfo2) 实际上并未运行查询。它只构造查询。当您开始迭代时，就是查询实际运行的时候。

长话短说，专注于优化正在运行的实际 SQL。使用 EXPLAIN ANALYZE 并研究添加索引。问题不在于此处的代码。它与 SQL 相关。