- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
总结:在计算相关对象时,我使用很少的查询和注释得到非常慢的查询,而每项额外的两个查询。数据库是 PostgreSQL 9.3.5。
我有一个看起来像这样的模型:
class Collection(models.Model):
have = models.ManyToManyField(Item, related_name='item_have', through='Have')
want = models.ManyToManyField(Item, related_name='item_want', through='Want')
added = models.DateTimeField()
class Meta:
ordering = ['-last_bump']
class Have(models.Model):
item = models.ForeignKey(Item)
collection = models.ForeignKey(Collection, related_name='have_set')
price = models.IntegerField(default=0)
class Want(models.Model):
want = models.ForeignKey(Item)
collection = models.ForeignKey(Collection, related_name='want_set')
price = models.IntegerField(default=0)
在我看来,我列出了这些集合,我想显示每个集合中有多少想要和有多少,通过注释来实现:
class ListView(generic.ListView):
model = Collection
queryset = Collection.objects.select_related()
paginate_by = 20
def get_queryset(self):
queryset = super(ListView, self).get_queryset()
queryset = queryset.annotate(have_count=Count("have", distinct=True),
want_count=Count("want", distinct=True))
但是,这使我的查询非常慢!我在数据库中有大约 650 条记录,django-debug-toolbar 说它进行了 2 次查询,平均耗时 400-500 毫秒左右。我试过使用 prefetch_related,但它并没有使它变得更快。
我确实尝试了另一件事,在 Collection 模型中,我添加了这个:
@property
def have_count(self):
return self.have.count()
@property
def want_count(self):
return self.want.count()
并从我的 View 中删除了注释。相反,它对数据库进行了总共 42 次查询,但在 20-25 毫秒内完成。
我在这里的注释做错了什么?在一个查询中执行计数是否应该比执行多个计数查询更快?
最佳答案
为什么慢:如果您只是使用两个 ManyToMany 字段的注释,那么您会创建一个不需要的所有这些表的大连接一起。必须计算的行的笛卡尔积的大小大约为 Have.objects.count() * Want.objects.count()
。然后你写了 distinct=True
来最终限制重复项的数量,以免得到无效的巨大结果。
修复旧的 Django:如果您只使用 queryset.annotate(have_count=Count("have"))
,您将在没有 distinct=True
的情况下快速获得正确的结果> 或相同的结果也很快与不同。然后你可以在内存中通过 Python 合并两个查询的结果。
解决方案 在 Django >= 1.11(在您提出问题两年后)中可以使用一个查询两个>子查询,一个用于Have
,一个用于Want
,都是一个请求,但不要将所有表混合在一起。
from django.db.models import Count, OuterRef, Subquery
sq = Collection.objects.filter(pk=OuterRef('pk')).order_by()
have_count_subq = sq.values('have').annotate(have_count=Count('have')).values('have_count')
want_count_subq = sq.values('want').annotate(have_count=Count('want')).values('want_count')
queryset = queryset.annotate(have_count=Subquery(have_count_subq),
want_count=Subquery(want_count_subq))
验证:您可以通过打印 str(my_queryset.query)
来检查慢速和固定 SQL 查询是否如上所述。
关于python - 为什么这个 Django (1.6) 注释计数这么慢?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29195299/
我对 Python-Django 和 web 开发还很陌生,我被困在这个使用 POST 创建新资源的特殊问题上。 我正在为 REST API 使用 Django REST 框架,我正在尝试创建一个新资
我已经使用 Django-storages 成功地将 Word 文档存储到 S3。 class Document(TitleSlugDescriptionModel, TimeStampedModel
我有 2 个关于模型代理的问题, 如何从模型对象创建代理对象? 如何从模型查询集创建代理查询集? 例如,假设我们定义了: from django.contrib.auth.models import
我想编写一个直接执行 HTTP 请求的单元测试(而不是使用 django.test.client.Client)。 如果您好奇为什么 - 那是因为我想测试我从 Django 应用程序公开的 Thrif
我为我的个人网站启动了一个 django 项目来学习 django。到目前为止,我已经将我的开发环境设置为我需要的一切,并遵循 this很棒的教程来创建一些基本的数据结构和模板。现在我想开始使用我之前
我已经阅读了很多关于如何在使用 Django 注册时添加额外字段的信息,例如 here 、 here 和 here 。代码片段是: forms.py(来自注册应用程序) class Registrat
我正在编写小型社交应用程序。功能之一是在网站标题中写入用户名。因此,例如,如果我登录并且我的名字是Oleg(用户名),那么我应该看到: Hello, Oleg | Click to edit prof
我有一个使用 Django 和 Django Rest 框架开发的应用程序。我想将 django-reversion 功能添加到我的应用程序中。 我已经尝试过http://django-reversi
我有一个简单的 HTML 表单,我没有使用 Django 表单,但现在我想添加一个选择。 选择最容易创建为 Django ChoiceField (与通过循环等手动创建选择相反),但是,如果没有在 D
我不明白为什么人们以两种方式编写外键,这样做的目的是什么?它们是相同还是不同? 我注意到有些人这样写: author = models.ForeignKey(Author, on_delete=mod
我想在我的 Django 应用程序中获取评论最多的十个帖子,但我做不到,因为我想不出合适的方法。 我目前正在使用 django 评论框架,并且我已经看到使用 aggregate or annotate
这对于 Django 1.2 仍然有效吗? Custom Filter in Django Admin on Django 1.3 or below 我已经尝试过,但管理类中的 list_filter
问题在于,当 django-compressor 编译为 .js 文件的 CoffeeScript 文件中引用 {{ STATIC_URL }} 时,它无法正确加载。 在我的 django 模板中,我
我正在尝试将一些字段从一个 django 模型移动到一个新模型。假设我有一个书籍模型: class Book(models.Model): title = models.CharField(max
我想在我的 Django 应用程序中获取评论最多的十个帖子,但我做不到,因为我想不出合适的方法。 我目前正在使用 django 评论框架,并且我已经看到使用 aggregate or annotate
目前我正在寻找在 Django 中实现访问控制。我已经阅读了有关内置权限的内容,但它并不关心每个对象的基础。例如,我想要“只有创建者可以删除自己的项目”之类的权限。所以我读到了 django-guar
嗨,我正在将我的 Django 模型的一个字段的值设置为其他模型的另一个字段的值。这个值应该是动态变化的。 这是我的第一个模型 class MainModel(AbstractBaseUser, Pe
我正在尝试为我的模型创建一个编辑表单。我没有使用模型表单,因为根据模型类型,用户可以使用不同的表单。 (例如,其中一个表单有 Tinymce 小部件,而另一个没有。) 有没有什么方法可以使用模型设置表
Django 模板中的搜索字段 如何在类似于此图像的 Django 模板中创建搜索字段 http://asciicasts.com/system/photos/1204/original/E354I0
根据 Django documentation ,如果 Django 安装激活了 AuthenticationMiddleware,HttpRequest 对象有一个“user”属性代表当前登录的用户
我是一名优秀的程序员,十分优秀!