java - Jsoup (connect) Java 耗时较长

Question

我试图从许多 html 页面中获取几行代码。

我正在使用 Jsoup，浏览 70 多个 html 页面需要 2 多分钟(90% 的时间花在通过 jsoup.connect 创建新文档上)。

这正常吗？使用另一个解析器会有什么不同吗？

Document doc = Jsoup.connect(Url).timeout(10*1000).get();

我可以浏览所有网页。

Answer 1

jsoup 通常需要大约 2 秒来建立连接和获取 html 内容

如果 url 被重定向到另一个站点，则最多可能需要 5 秒。

可能是你fetch的部分页面可能被重定向了，设置超时时间为3秒，你可能知道哪里出了问题..