python - HTTP403 错误 urllib2.urlopen(URL)

Question

我正在尝试使用以下代码打开 URL 以解析内容。但是当我尝试通过 python 而不是通过网络浏览器使用相同的 URL 时，我收到了 403 错误。对克服这个有什么帮助吗？

import urllib2
URL = 'http://www.google.com/search?q=something%20unusual'
response = urllib2.urlopen(URL)

Py 解释器的响应:HTTPError:HTTP 错误 403:禁止访问

Answer 1

Google 正在使用 User-Agent 过滤来防止机器人与其搜索服务进行交互。您可以通过将这些结果与 curl(1) 进行比较并选择性地使用 -A 标志来更改 User-Agent 字符串来观察这一点:

$ curl -I 'http://www.google.com/search?q=something%20unusual'
HTTP/1.1 403 Forbidden
...

$ curl -I 'http://www.google.com/search?q=something%20unusual' -A 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0'
HTTP/1.1 200 OK

您可能应该改用 Google Custom Search用于自动执行 Google 搜索的服务。或者，您可以使用 urllib2 库设置您自己的 User-Agent header (而不是像 "Python-urllib/2.6" 这样的默认值)，但这可能会违反Google 的服务条款。