Python 的 urllib2 在某些站点上不起作用

Question

我发现您无法使用 Python 的 urllib2(或 urllib)从某些站点读取数据。一个例子...

urllib2.urlopen("http://www.dafont.com/").read()
# Returns ''

当您使用浏览器访问网站时，这些网站会正常工作。我什至可以使用 PHP 抓取它们(没有尝试其他语言)。我看到其他网站也有同样的问题 - 但现在不记得网址了。

我的问题是...

1. 这个问题的原因是什么？
2. 有什么变通办法吗？

Answer 1

我相信它被用户代理阻止了。您可以使用以下示例代码更改 User-Agent:

USERAGENT = 'something'
HEADERS = {'User-Agent': USERAGENT}

req = urllib2.Request(URL_HERE, headers=HEADERS)
f = urllib2.urlopen(req)
s = f.read()
f.close()