python - 如何在 Django 中为对象使用临时存储？

Question

我在 Django 项目中有一个爬虫，它可以爬取数千个 url。爬行每两个小时进行一次。每秒有多个请求，这会降低数据库速度。

这是蜘蛛的解析方法:

def parse(self, response):
    httpstatus = response.status
    url_obj = response.request.meta['url_obj']
    xpath = url_obj.xpath
    elements = response.selector.xpath(xpath + '/text()').extract()

    ... EXCEPTIONS ...

    Scan.objects.create(url=url, httpstatus=httpstatus,
                               price=price,
                               valid=True)

如您所见，我必须在每次请求后访问数据库(每秒数十次)，但用户也使用该数据库。此外，在整个扫描完成之前，我不能在前端使用这些 Scan 对象。

我的想法是为新创建的 Scan 对象创建某种中间/临时存储，然后在扫描完成后将它们移动到主数据库。

我该怎么做？你有什么想法吗？

Answer 1

您可以在列表中累积您的Scan 对象，然后bulk_create()他们准备好这样做时。这将大大减少数据库命中次数。

scans = []

....

def parse(self, response):
    httpstatus = response.status
    url_obj = response.request.meta['url_obj']
    xpath = url_obj.xpath
    elements = response.selector.xpath(xpath + '/text()').extract()

    ... EXCEPTIONS ...

    scans.append(Scan(url=url, httpstatus=httpstatus,
                           price=price,
                           valid=True))

....

Scan.objects.bulk_create(scans)