java - 从外部服务器访问登录 protected 页面(Java、Groovy)

Question

我正在尝试从内部站点获取信息，但该站点受登录保护。它是一个带有一些身份验证插件的 drupal 站点。

使用

def slurper = new XmlSlurper()

def htmlParser = slurper.parse("http://theurl.se/pageIwantToGo") 

返回 403 ( Forbidden ) 并且我无法访问该页面上的内容。

同样的事情:

new URL('http://theurl.se/pageIwantToGo:).getText()

从浏览器中，我得到一个带有登录表单的页面，其中包含 form_build_id，我可能需要将其与用户名和密码一起读取并提交。

我怎样才能欺骗网站我是浏览器，以便我可以访问该页面？已尝试使用常规 HTTPBuilder 但无法完成第一步。

Answer 1

这取决于安全性的实现方式(基本身份验证、表单登录......)。Java 中的大多数 HTTP 库(例如: Apache HttpComponents )支持各种安全机制。

欺骗网站认为您是浏览器不会让您进入。如果您愿意(但我认为这不是必需的)，您可以通过设置来“欺骗”网站认为您是浏览器HTTP header 中适当的用户代理。 (尽管仅此一点不会绕过安全性)