利用curl 多线程模拟并发的详解-6ren

利用curl 多线程模拟并发的详解

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

26

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章利用curl 多线程模拟并发的详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

首先，先了解下 php中的curl多线程函数:

复制代码代码如下:

 
 # curl_multi_add_handle 
 
 # curl_multi_close 
 
 # curl_multi_exec 
 
 # curl_multi_getcontent 
 
 # curl_multi_info_read 
 
 # curl_multi_init 
 
 # curl_multi_remove_handle 
 
 # curl_multi_select

一般来说，想到要用这些函数时，目的显然应该是要同时请求多个url，而不是一个一个依次请求，否则不如自己循环去调curl_exec好了。步骤总结如下：第一步：调用curl_multi_init 第二步：循环调用curl_multi_add_handle 这一步需要注意的是，curl_multi_add_handle的第二个参数是由curl_init而来的子handle。第三步：持续调用curl_multi_exec 第四步：根据需要循环调用curl_multi_getcontent获取结果第五步：调用curl_multi_remove_handle，并为每个字handle调用curl_close 第六步：调用curl_multi_close 这里有一个网上找的简单例子，其作者称为dirty的例子，（稍后我会说明为何dirty）:

复制代码代码如下:

 
 /* 
 
 Here's a quick and dirty example for curl-multi from PHP, tested on PHP 5.0.0RC1 CLI / FreeBSD 5.2.1 
 
 */ 
 
 $connomains = array( 
 
 "http://www.cnn.com/", 
 
 "http://www.canada.com/", 
 
 "http://www.yahoo.com/" 
 
 ); 
 
 $mh = curl_multi_init(); 
 
 foreach ($connomains as $i => $url) { 
 
      $conn[$i]=curl_init($url); 
 
       curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1); 
 
       curl_multi_add_handle ($mh,$conn[$i]); 
 
 } 
 
 do { $n=curl_multi_exec($mh,$active); } while ($active); 
 
 foreach ($connomains as $i => $url) { 
 
       $res[$i]=curl_multi_getcontent($conn[$i]); 
 
       curl_close($conn[$i]); 
 
 } 
 
 print_r($res);

整个使用过程差不多就是这样，但是，这个简单代码有个致命弱点，就是在do循环的那段，在整个url请求期间是个死循环，它会轻易导致CPU占用100%。现在我们来改进它，这里要用到一个几乎没有任何文档的函数curl_multi_select了，虽然C的curl库对select有说明，但是，php里的接口和用法确与C中有不同。把上面do的那段改成下面这样:

复制代码代码如下:

 
 do { 
 
                         $mrc = curl_multi_exec($mh,$active); 
 
                 } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
 
                 while ($active and $mrc == CURLM_OK) { 
 
                         if (curl_multi_select($mh) != -1) { 
 
                                 do { 
 
                                         $mrc = curl_multi_exec($mh, $active); 
 
                                 } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
 
                         } 
 
                 }

因为$active要等全部url数据接受完毕才变成false，所以这里用到了curl_multi_exec的返回值判断是否还有数据，当有数据的时候就不停调用curl_multi_exec，暂时没有数据就进入select阶段，新数据一来就可以被唤醒继续执行。这里的好处就是CPU的无谓消耗没有了。另外：还有一些细节的地方可能有时候要遇到：控制每一个请求的超时时间，在curl_multi_add_handle之前通过curl_setopt去做： curl_setopt($ch, CURLOPT_TIMEOUT, $timeout); 判断是否超时了或者其他错误，在curl_multi_getcontent之前用：curl_error($conn[$i]); 这里我只是简单使用上述的dirty的例子（足够用了，并未发现cpu使用100%的情况）。对“看点”（kandian.com）某一接口模拟并发，功能是向 memcache中读数据并写入数据。因为保密关系，相关数据及结果就不贴出了。模拟了3次，第一次10线程同时请求1000次，第二次，100线程同时请求1000次，第三次，1000线程同时请求100次（已经相当费劲了，不敢在设置超过1000的多线程）。看来curl多线程模拟并发还是有一定局限的。另外还怀疑，可能会因为多线程延迟带来结果的大误差，对比数据发现。在初始化和set所用时间出入不大，差别处在get方法，因此可简单排除这点~~~ 。

。

最后此篇关于利用curl 多线程模拟并发的详解的文章就讲到这里了,如果你想了解更多关于利用curl 多线程模拟并发的详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

26

4

0

文章推荐： VIM中设置php自动缩进为4个空格的方法详解

文章推荐：探讨:如何通过stats命令分析Memcached的内部状态

文章推荐：修改php.ini不生效问题解决方法(上传大于8M的文件)

文章推荐：与文件上传有关的php配置参数总结

curl - 将命令行 cURL 转换为 C cURL
我以前从未做过任何 curl ，所以需要一些帮助。我试图从示例中解决这个问题，但无法理解它! 我有一个 curl 命令，我可以从 Windows 命令行成功运行该命令，该命令行在 Solr 中索引 p
curl - curl -v 和 curl -I 有什么区别
curl -v有什么区别和 curl -I ? 我可以看到 -v是冗长的和 -I是标题。有什么具体的吗？最佳答案 -I (大写字母 i)在 curl 中表示“没有正文”，对于 HTTP 表示发送 H
curl - curl FTP访问被拒绝
我正在使用curl php API访问FTP链接。在特定站点上，它给出错误代码9（拒绝访问）。但是，可以从IE和Firefox访问该链接。然后，我运行curl命令行，它给出了相同的“访问拒绝”结果。
curl - cURL NTLM代理授权
我已经使用curl有一段时间了，它可以正常工作，但是使用使用用户'domain\username'来验证curl的代理时，无法请求授权。授权方法是NTLM。此代码放入批处理文件中。代码: curl
curl - 'curl' 默认使用什么证书？
“curl”默认使用哪些证书？例子: curl -I -L https://cruises.webjet.com.au 在 Ubuntu 15.04 上失败 curl: (60) SSL certi
curl - curl -输出到终端的内容是什么？
我知道终端输出的一部分是请求的持续时间，剩余时间等。但是是否有一些文档指定了curl命令的终端输出的每一列到底是什么？手册页上的内容非常稀疏。最佳答案可能不容易找到，但已在the curl boo
curl - Owncloud上传文件到特定文件夹 - curl
我想通过 curl 在我自己的云服务器上的特定文件夹中上传文件。例如:http://www.myowncloudserver.com/remote.php/webdav/{MY_FOLDER}。此时我
curl - curl 以提示用户名和密码
我的网站上有一个密码保护的Web文件夹，我正在使用Curl在另一个域上获取该文件夹，我想要的是:当我尝试打开URL时，应该问我用户名和密码，而不是让它显示“需要授权”。例: http://www.e
curl - curl 以获取Rabbitmq队列大小
有没有一种方法可以通过简单的Curl获取Rabbitmq中队列的大小（剩余消息）？类似于curl -xget http://host:1234/api/queue/test/stats 谢谢最佳答
curl - curl 免费发布库的动机是什么？
关闭。这个问题是opinion-based .它目前不接受答案。 2年前关闭。锁定。这个问题及其答案是locked因为这个问题是题外话，但具有历史意义。它目前不接受新的答案或互动。我最近开始在我的
curl - 使用带有用户名和密码的 cURL？
我想访问需要用户名/密码的 URL。我想尝试用curl 访问它。现在我正在做类似的事情: curl http://api.somesite.com/test/blah?something=123 我收
curl - 'CURL' 不被识别为内部或外部命令？
我正在尝试使用 CURL 进行查询ElasticSearch 中的命令在windows平台。例如:localhost:9200/playground/equipment/1?pretty 我收到一条
curl - 在运行容器时成功使用 curl
我正在尝试使用 Docker 构建和运行 Marklogic 实例。 Marklogic 提供了一些不错的 http api，所以，作为最终 CMD在 Dockerfile 中，我运行两个脚本，它们通
curl - 加载超时阻止使用 Curl
我正在尝试通过 cURL 检索网页的内容(比方说 http://www.foo.com/bar.php )。当我在浏览器中加载网站时，加载页面时会出现动画，页面最终会显示出来。但是使用 cURL，
curl - 带有代理和响应状态代码的命令行 curl
我正在尝试使用带代理的命令行 CURL 获取响应状态代码。这会返回整个页面，但我只想要状态代码。我怎么做？谢谢。 curl -sL -w -x IP:PORT "%{http_code}\n""ht
curl - net/http vs curl - 为什么在 curl 不超时的情况下超时？
我有一段代码检查 http/s 端点的状态和加载时间。然后我会为每个顶级页面检查 1 级 href，以检查页面引用的所有内容是否也加载了 200。 (我查了50个顶级页面，每个顶级页面平均有8个链接)
curl - curl --upload-file 和 curl --form file=@filename 有什么区别
curl --upload-file 和 curl --form file=@/path/file 有什么区别？这些 HTTP 请求有何不同？最佳答案 --上传文件 (使用 HTTP 或 HTTPS
curl - CMAKE_USE_SYSTEM_CURL 已打开但未找到 curl
我正在尝试使用 system-curl 安装 cmake，使用 ./bootstrap --system-curl，如 here 所示.这样做，我得到了: -- Could NOT find
curl - 为什么 Curl 会忽略给定的范围？
我需要使用 Curl 下载 Youtube 视频的特定部分。 (假设我想下载前 2MB)我在 Curl 中使用 -r 开关来实现这一点。它适用于非 YouTube 链接，但 Youtube 链接会忽略
curl - 在 curl 命令中为文件名添加时间戳
我希望在使用 curl 命令从远程服务器下载文件后，将时间戳或日期添加到文件名中。我知道您可以使用 -o 来指定您要为文件命名的内容。我看到过这样的建议:-o "somefile $(date +\"

首页

博学

6Ren·AI

商城