个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
25
4
我正在开发网络爬虫，我想使用 HttpWebRequest。它允许诸如 BeginGetResponse 之类的异步操作，但是使用 HttpWebRequest.Create 进行连接不是异步的——我想同时建立大约 1,000 个连接，所以使用这种方法(使用额外的异步线程)我什至无法获得 2 个连接，因为直到第二个连接第一个连接已经完成下载内容，这几乎就像我一个接一个地连接到网页而不是同时连接到网页。
我想知道是否有一种好方法可以使用 HttpWebRequest 连接大约 1,000 次而无需创建大量线程或任何东西...
提前致谢。
编辑:最终不是 HttpWebRequest 缓慢且阻塞，而是 BeginGetResponse - 在发送请求 header 之前一直阻塞？我怎样才能绕过这个，同时使用异步发送和 BeginGetRequestStream？
最佳答案
所有这些连接都进入同一个域吗？
尝试将此添加到您的 app/web.config
<系统.net> <连接管理> <添加地址="*"最大连接="1000"/>
关于c# - 异步 HttpWebRequest，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/6688817/
25
4
0
我正在使用 HttpWebRequest 登录页面并获取一些信息。然后，我使用该信息创建一个新的 HttpWebRequest 以获取更多信息。我不想使用 WebClient。 如何将使用第一个 Ht
我有一个包含指向某些文件的链接的页面。 我基本上需要访问页面的源代码来解析它并获取文件的所有超链接。 我的代码是这样的(我在网上很多地方都找到了一些代码..): "private static
我正在编写一个渐进式下载器作为可移植类库 (Profile=24)。它将支持以字节 block 的形式部分下载目标文件。 HttpClient 不可用，我将使用 HttpWebRequest，它具有用
我正在努力在 HttpWebRequest 之上构建一个流畅的 REST 客户端界面。/HttpWebResponse .NET 中的类型。到目前为止，一切都很好......但是我正在尝试开发一个可插
我有一个用 VB.NET 编写的应用程序( 不是 asp.net，它是一个 Windows 控制台应用程序)。我正在尝试调用一个 url(一个 html 页面)并将响应返回到一个字符串中。响应是直接的
我尝试使用 C# HTTPWebRequest 类登录 amazon.com，我可以登录但无法读取 header 中的多个 set-cookie 当服务器响应多个“Set-Cookie:”-heade
我正在测试 Web 核心 API，但收到 500 内部服务器错误。 我的 Controller 上的方法是； [Route("api/property")] public class Property
假设我正在检索一个 url，如下所示: string url = "http://www.somesite.com/somepage.html" HttpWebRequest req = (HttpW
当我使用 HttpWebRequest.Headers.Add("Cookie",value) 与 HttpWebRequest.CookieContainer 和结果从 HttpWebRequest
我已阅读以下 2 篇文章并尝试实现相同的文章。 我的代码是这样的，超时发生在这里 HttpWebRequest wr = (HttpWebRequest)WebRequest.Create(url);
我正在寻找一种使用 httpWebRequest 从 url 下载 excel 文件并以某种方式解析它的方法 - 这是否意味着将其转换为 .csv 文件，以便我可以简单地使用 TextFieldPar
当我尝试序列化 HttpWebRequest 时出现以下错误 Type 'System.Net.KnownHttpVerb' in Assembly 'System, Version=2.0.0.0,
我目前正在下载一个 HTML 页面，使用以下代码: Try Dim req As System.Net.HttpWebRequest = DirectCast(WebRequest.Creat
我读了这个 MSDN 喜欢它并运行它的例子。 http://msdn.microsoft.com/en-us/library/system.net.httpwebrequest.useragent.a
我有一个 ASP.NET MVC 操作，它通过 HttpWebRequest 将 GET 请求发送到另一台服务器。我想在新请求中包含原始操作请求中的所有 cookie。原始请求中的一些 System.
我正在尝试抓取具有用户身份验证的网站。我能够执行POST来发送登录信息并存储Cookie。但是，登录后，尝试访问 protected 页面时出现403错误。 $url = "https://some_
我正在使用 HttpWebRequest ，并且正在处理响应流。 HttpWebRequest是否有正确的处理方法？ ，因为它不包含 close 或 dispose 方法？ 最佳答案 如果该类有特殊的
我在REST服务中抛出一个错误，例如: throw new WebFaultException("bla bla bla", HttpStatusCode.HttpVersionNotSuppo
问题:此控制台应用调用 Azure 上托管的长时间运行的网页两次。我希望它只调用一次。 控制台应用程序因捕获的异常而失败:基础连接已关闭:接收时发生意外错误。 so question 如果我从 Chr
我试图弄清楚我的网络请求在最终到达最终内容之前被重定向了多少次。 我正在创建我的网络请求，如下所示: var httpRequest = (HttpWebRequest) WebRequest.Cre
我是一名优秀的程序员,十分优秀！