python - 在 Python 或 PostgreSQL 中操作数据是否更快、内存效率更高？

Question

假设我有一个包含 5-6 列和几百行的 PostgreSQL 表。使用 psycopg2 将整个表加载到我的 Python 程序中并使用 Python 选择我想要的行并根据需要对行进行排序会更有效吗？或者使用 SQL 来选择所需的行，对它们进行排序，然后仅将这些特定行加载到我的 Python 程序中会更有效。

我所说的“有效”是指:

内存使用情况。

速度。

此外，随着表的大小增加，这些因素将如何开始变化？比如说，该表现在有几百万行？

Answer 1

在 PostgreSQL 中执行所有这些操作几乎总是更快。这些数据库系统经过精心设计，可以很好地处理大量数据，并针对其典型用例进行了高度优化。例如，他们不必从磁盘加载所有数据来执行最基本的过滤器 [1] .

即使情况并非如此，仅网络延迟/使用情况就足以平衡这一点，尤其是在您经常运行查询的情况下。