java - 将网页写入文本文档

Question

有没有办法将网页中的文本写入文本文档？ (.txt) 我今天开始使用 Jsoup 来尝试执行此操作，但它似乎并不完全是我想要的(或者我认为是这样)。因此，如果有任何方法可以使用 Jsoup 或其他任何方法来做到这一点，请告诉我。谢谢。

Answer 1

JSoup 允许您访问响应正文，如 string所以你可以做response.body()并使用普通的PrintWriter或任何你喜欢的东西来编写它。

JSoup 主要是从站点中进行实体提取，所以如果这就是您需要做的全部，那么也许您可以使用一个更简单的库 - 通常，将抓取与解析分开以进行并行化非常有用。 Apache HttpClient 是一个非常流行的用于执行 HTTP 请求的库，您可以按照此 example 将响应实体作为字符串获取并写入它。

您需要协商 SSL 连接或传递任何 cookie 吗？如果是这样，HttpClient 提供了很多不错的 features

Jetty HttpClient 是另一种选择，或者您甚至可以curl url > filename。