个人中心
gpt4 book ai didi

PHP多线程批量采集下载美女图片的实现代码(续)

转载 作者：qq735679552 更新时间：2022-09-29 22:32:09 30 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章PHP多线程批量采集下载美女图片的实现代码(续)由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

个人认为影响的原因： 匹配到的图片url并不是有效的url，文中只是简单的判断是否是相对路径，但是有些url是失效的 解决办法：就是新增判断是否是真实有效url的图片 。

  。

复制代码 代码如下:

/**
 *
 *判断url是否有效
 *@param $url string
 *@return boole
 */
function relUrl($url){
 if(substr($url,0,4)=='http'){
  $array = get_headers($url,true);
  if(count($array)>0 && is_array($array)){
   if(preg_match('/200/', $array[0])){
    unset($array);
    return true;
   }else{
    unset($array);
    return false;
   }
  }else{
   unset($array);
   return false;
  }
 }else{
  return false;
 }
}

  。

主要使用get_headers函数，获取http请求信息，判断服务端反应状态（200）判断url是否真实有效.

再次测试采集图片 结果比以前还要糟糕，运行的更慢了.

测试的原因就是： get_headers函数虽然可以判断url是否真实有效，但是假如遇到很慢的url资源，因为get-heades请求没有时间限制，导致这个线程被占用，后续的请求被阻塞 file_get_content函数和上面的原因一样，由于某些慢的url资源都长期占用，阻塞后面的进程被占用，长期阻塞，cpu占用也会增高 解决办法； 使用curl的多线程，另外curl可以设置请求时间，遇到很慢的url资源，可以果断的放弃，这样没有阻塞，另外有多线程请求，效率应该比较高，参考：《CURL的学习和应用[附多线程]》，我们再来测试一下； 。

核心代码:

  。

复制代码 代码如下:

/**      * curl 多线程      *       * @param array $array 并行网址      * @param int $timeout 超时时间      * @return mix      */  public function Curl_http($array,$timeout='15'){       $res = array();       $mh = curl_multi_init();//创建多个curl语柄 。

  。

      foreach($array as $k=>$url){           $conn[$k]=curl_init($url);//初始化           curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//设置超时时间           curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');           curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向级别 ，7最高           curl_setopt($conn[$k], CURLOPT_HEADER, false);//这里不要header，加块效率           curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect           curl_setopt($conn[$k], CURLOPT_RETURNTRANSFER,1);//要求结果为字符串且输出到屏幕上              curl_setopt($conn[$k], CURLOPT_HTTPGET, true);           curl_multi_add_handle ($mh,$conn[$k]);       }        //防止死循环耗死cpu 这段是根据网上的写法           do {               $mrc = curl_multi_exec($mh,$active);//当无数据，active=true           } while ($mrc == CURLM_CALL_MULTI_PERFORM);//当正在接受数据时           while ($active and $mrc == CURLM_OK) {//当无数据时或请求暂停时，active=true               if (curl_multi_select($mh) != -1) {                   do {                       $mrc = curl_multi_exec($mh, $active);                   } while ($mrc == CURLM_CALL_MULTI_PERFORM);               }           }       foreach ($array as $k => $url) {             if(!curl_errno($conn[$k])){              $data[$k]=curl_multi_getcontent($conn[$k]);//数据转换为array              $header[$k]=curl_getinfo($conn[$k]);//返回http头信息              curl_close($conn[$k]);//关闭语柄              curl_multi_remove_handle($mh  , $conn[$k]);   //释放资源             }else{              unset($k,$url);             }           }           curl_multi_close($mh);           return $data;    } 。

//参数接收 $callback = $_GET['callback']; $hrefs = $_GET['hrefs']; $urlarray = explode(',',trim($hrefs,',')); $date = date('Ymd',time()); //实例化 $img = new HttpImg(); $stime = $img->getMicrotime();//开始时间 。

$data = $img->Curl_http($urlarray,'20');//列表数据 mkdir('./img/'.$date,0777); foreach ((array)$data as $k=>$v){  preg_match_all("/(href|src)=(["|']?)([^ "'>]+.(jpg|png|PNG|JPG|gif))\2/i", $v, $matches[$k]);  if(count($matches[$k][3])>0){   $dataimg = $img->Curl_http($matches[$k][3],'20');//全部图片数据二进制   $j = 0;   foreach ((array)$dataimg as $kk=>$vv){    if($vv !=''){     $rand = rand(1000,9999);     $basename = time()."_".$rand.".".jpg;//保存为jpg格式的文件     $fname = './img/'.$date."/"."$basename";     file_put_contents($fname, $vv);        $j++;     echo "创建第".$j."张图片"."$fname"."<br/>";    }else{     unset($kk,$vv);    }   }  }else{   unset($matches);  } } $etime = $img->getMicrotime();//结束时间 echo "用时".($etime-$stime)."秒"; exit,

  。

测试一下效果 337张图片用时260秒左右，基本上可以做到一秒内就可以采集一张的效果，而且发现图片越到优势采集速度越明显.

我们可以看一下文件命名：也就可以做到同一时刻可以生成10张图片， 。

由于采用了20秒请求的时间限制，有些图片生成后有明显不全，也就是图片资源在20秒内未能完全采集，这个时间大家可以自行设置.

最后此篇关于PHP多线程批量采集下载美女图片的实现代码(续)的文章就讲到这里了,如果你想了解更多关于PHP多线程批量采集下载美女图片的实现代码(续)的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

30 4 0
文章推荐： PHP运行环境配置与开发环境的配置(图文教程)
文章推荐： PHP在线生成二维码(google api)的实现代码详解
文章推荐： 获取php页面执行时间，数据库读写次数，函数调用次数等(THINKphp)
文章推荐： php变量作用域的深入解析
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com