探讨file_get_contents与curl效率及稳定性的分析-6ren

探讨file_get_contents与curl效率及稳定性的分析

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

27

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章探讨file_get_contents与curl效率及稳定性的分析由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

做过好多抓取别家网站内容的产品，习惯了使用方便快捷的file_get_contents函数，但是总是会遇到获取失败的问题，尽管按照手册中的例子设置了超时，可多数时候不会奏效:

复制代码代码如下:

 
 $config['context'] = stream_context_create(array(‘http' => array(‘method' => “GET”, 
 
    'timeout' => 5//这个超时时间不稳定，经常不奏效 
 
    ) 
 
   ));

这时候，看一下服务器的连接池，会发现一堆类似的错误，让你头疼万分： file_get_contents(http://***): failed to open stream… 不得已，安装了curl库，写了一个函数替换:

复制代码代码如下:

 
 <span style="color:#000000; font-weight:bold">function</span> curl_file_get_contents<span style="color:#009900">(</span><span style="color:#000088">$durl</span><span style="color:#009900">)</span><span style="color:#009900">{</span> 
 
    <span style="color:#000088">$ch</span> <span style="color:#339933">=</span> <span style="color:#990000">curl_init</span><span style="color:#009900">(</span><span style="color:#009900">)</span><span style="color:#339933">;</span> 
 
    <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_URL<span style="color:#339933">,</span> <span style="color:#000088">$durl</span><span style="color:#009900">)</span><span style="color:#339933">;</span> 
 
    <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_TIMEOUT<span style="color:#339933">,</span> <span style="color:#cc66cc">5</span><span style="color:#009900">)</span><span style="color:#339933">;</span> 
 
    <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_USERAGENT<span style="color:#339933">,</span> _USERAGENT_<span style="color:#009900">)</span><span style="color:#339933">;</span> 
 
    <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_REFERER<span style="color:#339933">,</span>_REFERER_<span style="color:#009900">)</span><span style="color:#339933">;</span> 
 
    <span style="color:#990000">curl_setopt</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#339933">,</span> CURLOPT_RETURNTRANSFER<span style="color:#339933">,</span> <span style="color:#cc66cc">1</span><span style="color:#009900">)</span><span style="color:#339933">;</span> 
 
    <span style="color:#000088">$r</span> <span style="color:#339933">=</span> <span style="color:#990000">curl_exec</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#009900">)</span><span style="color:#339933">;</span> 
 
    <span style="color:#990000">curl_close</span><span style="color:#009900">(</span><span style="color:#000088">$ch</span><span style="color:#009900">)</span><span style="color:#339933">;</span> 
 
    <span style="color:#b1b100">return</span> <span style="color:#000088">$r</span><span style="color:#339933">;</span> 
 
  <span style="color:#009900">}</span>

如此，除了真正的网络问题外，没再出现任何问题。这是别人做过的关于curl和file_get_contents的测试： file_get_contents抓取google.com需用秒数： 2.31319094 2.30374217 2.21512604 3.30553889 2.30124092 curl使用的时间： 0.68719101 0.64675593 0.64326 0.81983113 0.63956594 差距很大吧？呵呵，从我使用的经验来说，这两个工具不只是速度有差异，稳定性也相差很大。建议对网络数据抓取稳定性要求比较高的朋友使用上面的curl_file_get_contents函数，不但稳定速度快，还能假冒浏览器欺骗目标地址哦！。

。

最后此篇关于探讨file_get_contents与curl效率及稳定性的分析的文章就讲到这里了,如果你想了解更多关于探讨file_get_contents与curl效率及稳定性的分析的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

27

4

0

文章推荐：解析PHP中如何将数组变量写入文件

文章推荐：浅谈PHP强制类型转换,慎用!

文章推荐： $_GET['goods_id']+0 的使用详解

文章推荐： PHP编码规范的深入探讨

PHP file_get_contents 添加空格？
我正在使用 file_get_contents() 加载一个文本文件以放入文本区域，出于某种原因，每次加载它时，原始文本前后都会插入空格。我知道在保存过程中没有插入空格，因为我从我的 FTP 客户端检
php - file_get_contents 大文件上传
我正在尝试使用 fsockopen 上传超过 2gb 的大文件。但是 file_get_content 出现以下错误，我无法将大文件存储在内存中。我需要分块发送数据，但不知道如何执行此操作。请问有人可
php - file_get_contents 不适用于承载
我一直收到这个错误 Warning: file_get_contents failed to open stream: HTTP request failed! HTTP/1.1 401 Unauth
php - 带有查询字符串的 file_get_contents
我正在尝试从 php 发送电子邮件我有一个包含所有值的 php 文件和其他 php 模板文件。 (两个文件在同一台服务器上) 例如，我正在使用 file_get_contents 获取 php 模板文
PHP file_get_contents() 超时？
我正处于构建 PHP 应用程序的早期阶段，其中一部分涉及使用 file_get_contents()从远程服务器获取大文件并将它们传输给用户。例如，要获取的目标文件是 200 mB。如果下载到服务器
php - 如何安全地使用 file_get_contents？
我正在为我的博客的示例代码文件夹制作一个基本的 PHP 源代码查看器。我这里的内容是否足以让它永远不允许查看此脚本所在目录之外的文件或此脚本目录的子目录？我猜还有比 startsWith 更好的解
php - 不能使用动态创建位置的 file_get_contents
我正在尝试使用 file_get_contents() 从页面获取 html。以下效果很好:file_get_contents('http://www.mypage.com?Title=Title'
php - file_get_contents 是多行吗？
file_get_contents 是否维护换行符？我认为它做到了，但我已经尝试过: if($conn){ $tsql = file_get_contents('scripts/CreateT
php - 容错 file_get_contents
我有一个具有以下架构的网站: End user ---> Server A (PHP) ---> Server B (ASP.NET & Database)
php - file_get_contents 创建一个空文件
在 if 子句中用作测试条件时，如何防止 file_get_contents 创建空文件？无论如何都会创建一个空文件，这会导致在不同方法中对 getimagesize() 的后续调用失败。问题是，
php - file_get_contents 在您自己的本地机器中获取文件
我目前正在本地机器上测试我的代码，我希望它能够读取和写入我拥有的文本文件，所以我有以下代码: Warning: file_get_contents(~/Desktop/insta_user.txt):
php - file_get_contents 替代函数或方法？
在某人的服务器中，出于安全原因，file_get_contents 被禁用。我需要检索 xml 数据。那么，最好的做法是: 验证服务器是否支持file_get_contents？ file_get_c
php - file_get_contents()无法打开流
This question already has answers here: Warning: file_get_contents(): https:// wrapper is disabled i
php - 页面加载x秒后从网页获取响应(file_get_contents)
在载入x秒钟后，是否有任何方法可以获取网页响应？例如，我想创建一个获取youtube视频评论数量的api，但是正如您所知，当您打开youtube视频链接时，它会像加载评论一样2秒钟，因此，如果您知道
php - file_get_contents()无法与YouTube一起使用
我正在尝试像这样从youtube读取视频信息: $vid='WwVZBfMlNPA'; $vurl='http://youtube.com/get_video_info?video_id='.$vid
php - file_get_contents 得到错误的结果
更新我解决了问题并发布了答案。但是，我的解决方案并不是 100% 理想。我宁愿只使用 clearstatcache(true, $target) 或 clearstatcache(true, $li
php - file_get_contents() 的更快替代方案
目前，我正在使用 file_get_contents() 将 GET 数据提交到网站数组，但在执行页面时出现此错误: fatal error :超出最大执行时间 30 秒我真正希望脚本做的就是开始加
php - 'file_get_contents' 内容已加密？
问题是当我使用file_get_contents从该网站获取源代码(HTML)时，我收到的结果不是纯html代码。我使用的代码: $source = file_get_contents("http:
php - file_get_contents() 突然不起作用
这是我的全部代码: Playlist to Scrape: "; $fullUrl = array(); foreach($output[1] as $ur
php - file_get_contents 有时找不到文本
我是 PHP 新手，所以请多多关照:) 有时 file_get_contents 会完成其工作，有时则不会。我在网页上构建了一个简单的 URL 检查(如果存在)。但问题是，即使 URL 确实存在(手动

首页

博学

6Ren·AI

商城

探讨file_get_contents与curl效率及稳定性的分析