python - Incapsula 的工作原理以及如何战胜它

Question

Incapsula 是一个 Web 应用程序交付平台，可用于防止抓取。

我正在使用 Python 和 Scrapy，我发现了 this ，但它似乎已经过时并且无法与当前的 Incapsula 一起使用。我用我的 target website 测试了 Scrapy 中间件由于中间件无法提取一些混淆参数，我得到了 IndexErrors。

是否可以调整此代码库或 Incapsula 现在是否更改了其操作模式？

我也很好奇如何将 chrome 开发工具中的请求“复制为 cURL”到我的目标页面，并且 chrome 响应包含用户内容，但 curl 响应是一个“incapsula 事件”页面.这是针对 chrome 的，最初清除了 cookies.....

curl 'https://www.radarcupon.es/tienda/fotoprix.com' 
-H 'pragma: no-cache' -H 'dnt: 1' -H 'accept-encoding: gzip, deflate, br' 
-H 'accept-language: en-GB,en-US;q=0.9,en;q=0.8' 
-H 'upgrade-insecure-requests: 1' 
-H 'user-agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/62.0.3202.94 Chrome/62.0.3202.94 Safari/537.36' 
-H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' 
-H 'cache-control: no-cache' -H 'authority: www.radarcupon.es'
 --compressed

我期待双方的第一个请求返回类似 javascript challenge 的东西，这会设置一个 cookie，但它现在似乎不太像那样工作？

Answer 1

与许多其他反抓取服务一样，Incapsula 使用 3 种类型的详细信息来识别网络抓取器:

1. IP地址元信息
2. Javascript 指纹识别
3. 请求分析

为了绕过这种保护，我们需要确保这些详细信息与普通网络用户的详细信息相匹配。

IP 地址

自然网络用户通常从住宅或移动 IP 地址连接，其中许多生产抓取器部署在数据中心 IP 地址(谷歌云、AWS 等)上。这 3 种类型非常不同，可以通过分析 IP 数据库来确定。顾名思义:数据中心 - 商业 IP 地址、住宅 - 家庭地址和移动地址是基于蜂窝塔的移动网络(3G、4G 等)

因此，我们希望通过住宅或移动代理池来分发我们的抓取网络。

Javascript 指纹识别

使用 javascript，这些服务可以分析浏览器环境并构建指纹。如果我们运行浏览器自动化工具(如 Selenium、Playwright 或 Puppeteer)作为网络抓取工具，我们需要确保浏览器环境看起来像用户一样。

这是一个很大的主题，但一个好的开始是看一下 puppeteer-stealth 是什么将补丁应用于浏览器环境以隐藏各种细节的插件，这些细节揭示了浏览器由脚本控制的事实。

注意:puppeteer-stealth 不完整，您需要做额外的工作才能可靠地通过 Incapsula。

所以回答有点简短，但我在我的博客上写了一篇关于这个主题的广泛介绍 How to Avoid Web Scraping Blocking: Javascript

请求分析

最后，我们的爬虫连接方式也起着重要作用。连接模式可用于确定客户端是真实用户还是机器人。例如，真实用户通常以更困惑的方式浏览网站，例如转到主页、类别页面等。

隐蔽的抓取程序应该在抓取连接模式中引入一些困惑。

Curl 不会削减它

由于 Incapsula 依赖于 JS 指纹识别，因此您询问有关使用 CURL 的问题，因此在这种情况下您不会有太多运气。但是，需要注意一些可能对其他系统有帮助的事项:

• HTTP2/3 协议(protocol)将有更高的成功率。 Curl 和许多其他 http 客户端默认使用 http 1.1，并且大多数真实用户流量运行 http2+ - 这是一个致命的赠品。
• header 值和顺序也很重要，因为真正的浏览器(Chrome、Firefox 等)具有特定的 header 顺序和值。如果您的爬虫连接不同 - 这是一个死的赠品。

---

了解这 3 个区分机器人流量和真实人类流量的细节可以帮助我们开发更隐蔽的抓取工具。如果您想了解更多信息，我在我的博客上写了更多关于这个主题的文章 How to Scrape Without Getting Blocked