java - Jsoup连接错误403和503

Question

我已经使用 jsoup connect 方法来获取某些网站的 DOM 一段时间了(制作了我的个人机器人，我每天向这些网站发出 20-30 个请求)。也就是说，我可以打开并浏览该网站，但从今天起我的 java 程序无法访问它，我注意到发生的一件事是 CloudFlare 正在检查我的浏览器(防止 DDoS 攻击)。我的连接代码如下所示

doc = Jsoup.connect(url)
                .userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
                .referrer("http://www.google.com")
                .timeout(0)
                .get();

现在我收到错误 503。我尝试将 userAgent 更改为仅“Mozzila/5.0”，然后收到错误 403。这对我来说没有任何意义，但我怀疑是在 Cloudflare 系统上。

编辑:

我发现 CloudFlare 保护“我受到攻击”需要浏览器打开 JavaScript 和 Cookie，并在 5 秒后授予对网站的访问权限。我怎样才能用我的 Java 程序重现这种情况？

Answer 1

每个网站都有其避免崩溃或攻击的限制。当我想访问 github 数据时，就会发生这种情况。我在您的代码中没有看到任何身份验证(您可以隐藏它，我可以理解)。有时他们会给你更高频率的访问限制。所以尝试进行身份验证是好的。

另一个问题是你将超时设置为0。 连接超时=0太糟糕了，让它合理一些，比如 30 秒。