python - Django 查询集上的 random.sample : How will sampling on querysets affect performance?

Question

我试图从我的查询集中抽取一些记录来提高性能，例如:

from random import sample
from my_app import MyModel


my_models = MyModel.objects.all()

# sample only a few of records for performance
my_models_sample = sample(my_models, 5)

for model in my_models_sample:
    model.some_expensive_calculation

但我觉得它只会在执行时间方面变得更糟。

random.sample() 在幕后实际上是如何工作的？它会不会对 Django 查询集造成相当大的性能负担？

Answer 1

由于 random.sample() 将强制计算查询集 my_models，您的程序的执行时间将在很大程度上取决于 MyModel 的总数> 数据库中的对象。

为了提高性能并避免将整个查询集加载到内存中，您最终可能会按照描述 here 实现自己的采样函数。连同 .iterator()方法。

或者，您也可以依靠数据库服务器通过order_by('?') 为您进行采样。如下:

MyModel.objects.order_by('?')[:5]

就我个人而言，我不会推荐后一种查询，因为查询可能既昂贵又缓慢，具体取决于您使用的数据库后端。 (尤其是 MySQL)