c# - 如何从网页中获取 HTML 代码？

Question

我正在尝试从特定网页获取 HTML 代码，但是当我使用

        HttpWebRequest request;
        HttpWebResponse response;
        StreamReader streamReader;
        request = (HttpWebRequest)WebRequest.Create(pageURL);
        response = (HttpWebResponse)request.GetResponse();
        streamReader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("windows-1251"));
        htmlCode = streamReader.ReadToEnd();
        streamReader.Close();

或使用 WebClient，我被重定向到登录页面并获得其代码。有没有其他方法获取 HTML 代码？

我在这里阅读了一些信息:How to get HTML from a current request, in a postback ，但不明白我应该做什么，或者如何以及在何处指定 URL。

附言:我在浏览器中登录。 Notepad++通过“右键-查看源代码”完美获取了我需要的东西。

谢谢。

Answer 1

如果您被重定向到登录页面，那么大概您必须先登录才能获取内容。

因此您需要使用合适的凭据向登录页面发出请求。获取发送的任何 token (通常以 cookie 的形式)以维护登录。然后请求您想要的页面(随请求发送 cookie)。

或者(这是首选方法)，大多数希望自动化系统与其交互的主要站点都提供 API(通常使用 OAuth 进行身份验证)。查阅他们的文档以了解他们的 API 是如何工作的。