gpt4 book ai didi

c# - C#获取html页面源码的方法

转载 作者:太空狗 更新时间:2023-10-30 00:38:22 29 4
gpt4 key购买 nike

我想通过 .htmurl 将完整的网页 asp 保存在本地驱动器中或 url但是我没有成功。

代码

public StreamReader Fn_DownloadWebPageComplete(string link_Pagesource)
{
//--------- Download Complete ------------------
// using (WebClient client = new WebClient()) // WebClient class inherits IDisposable
// {

//client
//HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(link_Pagesource);

//webRequest.AllowAutoRedirect = true;
//var client1 = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(link_Pagesource);
//client1.CookieContainer = new System.Net.CookieContainer();


// client.DownloadFile(link_Pagesource, @"D:\S1.htm");

// }
//--------- Download Page Source ------------------
HttpWebRequest URL_pageSource = (HttpWebRequest)WebRequest.Create("https://www.digikala.com");

URL_pageSource.Timeout = 360000;
//URL_pageSource.Timeout = 1000000;
URL_pageSource.ReadWriteTimeout = 360000;
// URL_pageSource.ReadWriteTimeout = 1000000;
URL_pageSource.AllowAutoRedirect = true;
URL_pageSource.MaximumAutomaticRedirections = 300;

using (WebResponse MyResponse_PageSource = URL_pageSource.GetResponse())
{

str_PageSource = new StreamReader(MyResponse_PageSource.GetResponseStream(), System.Text.Encoding.UTF8);
pagesource1 = str_PageSource.ReadToEnd();
success = true;
}

错误:

Too many automatic redirections were attempted.

按此代码尝试但未成功。

许多 url 使用此代码成功,但此 url 不成功。

最佳答案

这是方法

string url = "https://www.digikala.com/";

using (HttpClient client = new HttpClient())
{
using (HttpResponseMessage response = client.GetAsync(url).Result)
{
using (HttpContent content = response.Content)
{
string result = content.ReadAsStringAsync().Result;
}
}
}

result 变量将包含页面作为 HTML 然后你可以将它保存到这样的文件中

System.IO.File.WriteAllText("path/filename.html", result);

注意您必须使用命名空间

using System.Net.Http;

更新 如果您使用的是旧版 VS,那么您可以看到这个 answerWebClientWebRequest 用于相同目的,但实际上更新您的 VS 是更好的解决方案。

关于c# - C#获取html页面源码的方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41778074/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com