java - 让 Jsoup 只加载所需的资源？

Question

我想加载网站代码以进行抓取。

该网站充满了不相关的图片和不同网站(如 Facebook)的各种连接。这显然会增加加载时间。

我真的很想只阅读页面内容，而不包含所有其他不必要的内容。有没有办法禁用外部资源加载？

我可以提供代码，但它只是一行，其中包含 Jsoup.connect (出于明显的原因)。

Answer 1

在使用 Jsoup 加载页面之前，您无法过滤(删除)页面的某些部分。
Jsoup 将仅加载 HTML，因此不会加载图片或 Javascript。在加载页面之前，您可以验证是否获得了正确的内容 - 许多网站包含多个 HTML 文件，因此请打开浏览器的开发人员工具，转到该网站，查看获得该网站时获得的文件，并检查每个文件他们来决定您是否需要它。
这是我浏览到 SO 时得到的结果:

正如您所看到的 - 它有 14 个文件，但很容易确定哪一个是 HTML，然后查看它是否有任何有趣的内容。