python - 谷歌机器人系统

Question

所以。我很困惑。我正在使用

发出单个请求

 headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36',

}
    response = requests.get('https://www.google.com/search?num=1&q=Philippines Loans&oq=Philippines Loans&&start=10',headers=headers).text

但是它要我填写验证码。我在我的浏览器上提出了同样的请求；它工作得很好，没有验证码。我用python发起请求怎么不行呢？如果我是否通过脚本发出请求，谷歌如何检测天气？如果我提出 100 个请求，我会理解。但我只提出一个请求，它仍然会抛出错误。我在我的谷歌浏览器中提出的同样要求它工作得很好。我认为这与用户代理有关。显然不是。可能是什么情况？我还应该通过什么？ requests.get 与通过 google chrome 手动发出 get 请求不一样吗？是什么让它与众不同？之前，在它让我填写验证码之前，我确实发出了 500 多个没有 sleep 定时器的请求。

Answer 1

您发布的代码对我有用。

Google 将监控您的 IP 和来自它的流量。如果您正在执行 不人道 的请求数量，那么谷歌会将您的 IP 列入黑名单一段时间，并要求您解决验证码问题。如果您等待几个小时，您应该就不会再看到标题了。

解决这个问题的唯一真正方法是使用代理，但是您会发现您可以在网络上找到的大多数免费代理已经被谷歌列入黑名单。因此，如果您想要一个稍微可靠的实现，您必须使用允许您轮换 IP 的提供商设置您自己的代理服务器，或者租用专用代理服务器。不过，这些往往相当昂贵。