Python 3 网站在使用用户代理欺骗时检测抓取工具

Question

我正在尝试使用 urllib 从 Indeed.com 抓取一些信息。有时，工作链接会被重定向到招聘公司的网页。发生这种情况时，Indeed 会抛出一些有关使用不兼容的浏览器或设备的 html，而不是继续访问重定向的页面。环顾四周后，我发现在大多数情况下，欺骗 urllib 的用户代理看起来像浏览器就足以解决这个问题，但这里似乎并非如此。

除了欺骗用户代理之外，还有什么其他建议吗？ Indeed 是否有可能意识到 User-Agent 被欺骗了，并且没有办法解决这个问题？

下面是代码示例:

import urllib
from fake_useragent import UserAgent
from http.cookiejar import CookieJar

ua = UserAgent()

website = 'http://www.indeed.com/rc/clk?jk=0fd52fac51427150&fccid=7f79c79993ec7e60'
req = urllib.request.Request(website)
cj = CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
opener.addheaders = [('User-Agent', ua.chrome)]
response = opener.open(req)

print(response.read().decode('utf-8'))

感谢您的帮助!

Answer 1

此 header 通常有效:

HDR = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'}

另一个选项是使用requests包。