.net - 如何在安全站点中使用 webclient？

Question

我需要自动化涉及使用登录表单的网站的流程。我需要在登录页面之后的页面中捕获一些数据。

我知道如何对普通页面进行屏幕抓取，但不知道如何抓取安全站点背后的页面。

这可以通过 .NET WebClient 类完成吗？

我如何自动登录？

我如何保持登录其他页面？

Answer 1

一种方法是通过自动化浏览器——你提到了 WebClient，所以我猜你可能指的是 .NET 中的 WebClient。两个要点:

与 WebClient 相关的 https 没有什么特别之处 - 它可以正常工作

Cookies 通常用于进行身份验证——您需要捕获并重放它们

这是我要遵循的步骤:

获取登录表单，捕获响应中的 cookie。

使用 Xpath 和 HtmlAgilityPack，找到“input type=hidden”字段名称和值。

使用用户名、密码和请求正文中的隐藏字段值 POST 登录表单的操作。在请求 header 中包含 cookie。同样，在响应中捕获 cookie。

再次使用请求 header 中的 cookie 获取您想要的页面。

在第 2 步中，我提到了一种自动化登录的有点复杂的方法。通常，您可以使用用户名和密码直接发布到已知的登录表单操作，而无需获取初始表单或转发隐藏字段。一些站点的表单上有表单验证(不同于字段验证)，这使得这种方法不起作用。 HtmlAgilityPack是一个 .NET 库，它允许您将格式错误的 html 转换为 XmlDocument，以便您可以对其进行 XPath。非常有用。最后，您可能会遇到表单依赖客户端脚本在提交之前更改表单值的情况。您可能需要模拟这种行为。使用工具查看此类工作的 http 流量非常有帮助 - 我推荐 ieHttpHeaders , Fiddler , 或 FireBug (净标签)。