python - 下载器中间件忽略对 scrapy 中某个 URL 的所有请求

Question

我试图在 Scrapy 中定义一个自定义下载器中间件，以忽略对特定 URL 的所有请求(这些请求是从其他 URL 重定向的，因此我无法在一开始生成请求时将它们过滤掉)。

我有以下代码，其想法是在响应处理阶段捕获此代码(因为我不确定请求重定向到其他请求的工作方式)，检查 URL，如果它与我匹配'试图过滤掉然后返回 IgnoreRequest 异常，如果没有，照常返回响应，以便继续处理。

from scrapy.exceptions import IgnoreRequest
from scrapy import log

class CustomDownloaderMiddleware:

    def process_response(request, response, spider):
        log.msg("In Middleware " + response.url, level=log.WARNING)
        if response.url == "http://www.achurchnearyou.com//":
            return IgnoreRequest()
        else:
            return response

然后我将其添加到中间件字典中:

DOWNLOADER_MIDDLEWARES = {
    'acny.middlewares.CustomDownloaderMiddleware': 650
}

值为 650，我认为应该让它直接在 RedirectMiddleware 之后运行。

但是，当我运行爬虫时，我收到一条错误消息:

ERROR: Error downloading <GET http://www.achurchnearyou.com/venue.php?V=00001>: process_response() got multiple values for keyword argument 'request'

此错误发生在抓取的第一个页面上，我无法弄清楚为什么会发生 - 我想我已按照手册中的说明进行操作。我做错了什么？

Answer 1

我找到了解决我自己问题的方法 - 在 Python 中创建类和方法是一个愚蠢的错误。上面的代码需要是:

from scrapy.exceptions import IgnoreRequest
from scrapy import log

class CustomDownloaderMiddleware(object):

   def process_response(self, request, response, spider):
       log.msg("In Middleware " + response.url, level=log.WARNING)
       if response.url == "http://www.achurchnearyou.com//":
           raise IgnoreRequest()
       else:
           return response

即方法需要有一个self参数作为第一个参数，类需要继承自object。