java - 如何使用 Java 从网站中提取受登录保护的数据？

Question

我一直在使用 Java 从一个网站提取一些值。但是，我现在需要从另一个网站提取一些值，但该网站需要您登录才能查看该页面。我有一个可用于登录的用户名和密码，但我未能成功使用 HTTPclient 或 HTMLUnit 在 Java 上使用自动登录。

有什么方法可以解决这个问题并从登录保护页面提取数据吗？

Answer 1

1. 在您的代码中，模拟用户登录。通常，这意味着使用适当的表单参数中的用户名和密码值发布到登录 URL。要从 HTTP 角度查看这是什么样子，请使用显示请求内容的工具(wireshark、浏览器插件)。

2. 捕获从登录页面的 POST 返回的 cookie。其中一个或多个可能是 session cookie - 即识别您与服务器的 session 的 cookie。

3. 在对该站点的后续请求中包含这些 Cookie。这些请求不应被识别为来自经过身份验证的用户。