gpt4 book ai didi

python - Scrapy View 返回空白页

转载 作者:行者123 更新时间:2023-12-01 04:38:52 24 4
gpt4 key购买 nike

我是 Scrapy 的新手,我只是想抓取 http://www.diseasesdatabase.com/

当我输入 scrapy view http://www.diseasesdatabase.com/ 时,它会显示一个空白页面,但如果我下载该页面并在本地文件上执行此操作,它会照常显示。为什么会发生这种情况?

最佳答案

假装是一个提供 User-Agent header 的真实浏览器:

scrapy view http://www.diseasesdatabase.com/ -s USER_AGENT="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36"

为我工作。

请注意,此处的 -s 选项有助于覆盖内置 USER_AGENT setting

关于python - Scrapy View 返回空白页,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31189588/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com