python - 绕过 Cloudflare Scrapeshield

Question

我正在从事一个网络抓取项目，我遇到了 cloudflare scrapeshield 的问题。有谁知道如何解决它？我正在使用 selenium webdriver，它被 scrapeshield 重定向到一些 lightspeed 页面。在 firefox 之上用 python 构建。浏览通常不会导致它重定向。 webdriver 与常规浏览器有什么不同吗？

Answer 1

看，scrapeshield 所做的是检查您是否在使用真正的浏览器，它实质上是检查您的浏览器是否存在某些错误。假设 Chrome 无法处理一个 IFrame 如果该行同时存在 303 错误，某些网络浏览器对不同测试的 react 不同，因此 webdriver 必须不对这些使用react，导致系统说“我们有入侵者，请更改页面!”。我可能是正确的，但不是 100% 确定......

有关源的更多信息:

我在 Defcon 上找到了大部分信息，内容是关于网络嗅探器并防止它们在服务器上获取正确的漏洞信息，他也在 PHP 中制作了一个网络浏览器标识符。