python - Scrapy:蜘蛛中间件中的异步数据库请求？

Question

序言:

我有一个蜘蛛将其结果存储在数据库中。然后，为了节省一些时间和远程 Web 服务器资源，我决定不请求数据库中已有的项目。阅读文档后，我决定自定义蜘蛛中间件是我的最佳选择。

class SkipDupeMiddleware(object):
    process_spider_output(response, result, spider):
        for r in result:
            if isinstance(r, Request) and item_in_database(r.url):
                log.msg('Skip %s' % r.url)
            else:
                yield r

item_in_database 查询数据库。

它也很好用，节省了很多时间。

现在是真正的问题:

后来我读到在非阻塞应用程序中使用阻塞数据库请求不是一个好主意。我总是“做正确的事”，并决定将我所有的数据库请求包装在 adbapi

中

我找到了在管道 中使用adbapi 的方法，但是是否可以在中间件级别执行此操作？中间件应返回 BaseItem、Request 或 None，但 adbapi 返回 twisted的 Deferred，稍后返回 Request 或 None。

现在我卡住了。

Answer 1

您可以(并且应该)从管道 process_item() 方法返回一个 Deferred。