html-content-extraction - HTTPBuilder - 如何获取网页的 HTML 内容？

Question

我需要提取网页的 HTML我在 groovy 中使用 HTTPuilder，得到以下结果:

def http = new HTTPBuilder('http://www.google.com/search')
http.request(Method.GET) {
 requestContentType = ContentType.HTML
 response.success = { resp, reader ->
  println "resp: " + resp
  println "READER: " + reader
 }
 response.failure = { resp, reader ->
  println "Failure"
 }
}

我得到的响应不包含我在浏览 www.google.com/search 的 html 源时看到的相同 html。事实上，它既不是 html，也不包含我在页面的 html 源代码中看到的相同信息。我试过设置不同的标题(例如，headers.Accept = 'text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8'，标题。 accept = 'text/html'，设置用户代理等)，但结果是一样的。如何使用 http 构建器获取 www.google.com/search(或任何网页)的 html？

Answer 1

为什么要使用httpBuilder？您可以改用

def url = "http://www.google.com/".toURL() 

println url.text`

提取网页内容