python - Scrapy Python 设置用户代理

Question

我试图通过向项目 configuration file 添加额外的行来覆盖我的 crawlspider 的用户代理.代码如下:

[settings]
default = myproject.settings
USER_AGENT = "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36"


[deploy]
#url = http://localhost:6800/
project = myproject

但是当我在我自己的网络上运行爬虫时，我注意到蜘蛛没有选择我自定义的用户代理，而是默认的“Scrapy/0.18.2 (+ http://scrapy.org)”。谁能解释我做错了什么。

注意:

(1)。当我试图覆盖 user agent globally 时它起作用了:

scrapy crawl myproject.com -o output.csv -t csv -s USER_AGENT="Mozilla...."

(2)。当我从配置文件中删除“default = myproject.setting”行并运行scrapy crawl myproject.com时，它说“找不到spider..”，所以我觉得在这种情况下不应该删除默认设置。

非常感谢您提前提供的帮助。

Answer 1

将您的 USER_AGENT 行移至 settings.py 文件，而不是 scrapy.cfg 文件。如果您使用 scrapy startproject 命令，settings.py 应该与 items.py 处于同一级别，在您的情况下，它应该类似于 myproject/settings.py