python - KeyError : 'driver' in print(response. request.meta ['driver' ].title)

Question

我收到错误 KeyError:'driver'。
我想使用scrapy-selenium 创建一个网络爬虫。我的代码如下所示:

class TestSpider(Spider):
name="test"
start_urls = ["http://crawler-test.com/mobile/dynamic"]

def start_requests(self):
    for url in self.start_urls:
        yield SeleniumRequest(url=url, callback=self.parse)

def parse(self, response):
    print(response.request.meta['driver'].title)

在爬虫的设置中，我添加了:

SELENIUM_DRIVER_NAME = 'chrome'
SELENIUM_DRIVER_EXECUTABLE_PATH = which('chromedriver')
SELENIUM_DRIVER_ARGUMENTS=['--headless']
DOWNLOADER_MIDDLEWARES = {'scrapy_selenium.SeleniumMiddleware': 800}

几乎所有内容都来自scrapy-selenium 文档。
https://pypi.org/project/scrapy-selenium/
非常感谢您的帮助。

Answer 1

从@pcalkins 评论中找到的答案
您有两种方法可以解决此问题:
最快的 :将您的 chromedriver.exe 文件粘贴到您的蜘蛛所在的同一目录中。
最好的一个 :在 SETTINGS.PY 中将您的潜水员路径放入 SELENIUM_DRIVER_EXECUTABLE_PATH = YOUR PATH HERE这是你不会使用 which('chromediver')