个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
24
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章PHP使用CURL实现多线程抓取网页由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
PHP 利用 Curl Functions 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，受限于php语言本身不支持多线程，所以开发爬虫程序效率并不高，这时候往往需 要借助Curl Multi Functions 它可以实现并发多线程的访问多个url地址。既然 Curl Multi Function如此强大，能否用 Curl Multi Functions 来写并发多线程下载文件呢，当然可以，下面给出我的代码:
代码1：将获得的代码直接写入某个文件 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
<?php
$urls
=
array
(
'http://www.sina.com.cn/'
,
'http://www.sohu.com/'
,
'http://www.163.com/'
);
// 设置要抓取的页面URL
$save_to
=
'/test.txt'
;
// 把抓取的代码写入该文件
$st
=
fopen
(
$save_to
,
"a"
);
$mh
= curl_multi_init();
foreach
(
$urls
as
$i
=>
$url
) {
$conn
[
$i
] = curl_init(
$url
);
curl_setopt(
$conn
[
$i
], CURLOPT_USERAGENT,
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"
);
curl_setopt(
$conn
[
$i
], CURLOPT_HEADER ,0);
curl_setopt(
$conn
[
$i
], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt(
$conn
[
$i
], CURLOPT_FILE,
$st
);
// 设置将爬取的代码写入文件
curl_multi_add_handle (
$mh
,
$conn
[
$i
]);
}
// 初始化
do
{
curl_multi_exec(
$mh
,
$active
);
}
while
(
$active
);
// 执行
foreach
(
$urls
as
$i
=>
$url
) {
curl_multi_remove_handle(
$mh
,
$conn
[
$i
]);
curl_close(
$conn
[
$i
]);
}
// 结束清理
curl_multi_close(
$mh
);
fclose(
$st
);
?>
|
代码2：将获得的代码先放入变量，再写入某个文件 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
<?php
$urls
=
array
(
'http://www.sina.com.cn/'
,
'http://www.sohu.com/'
,
'http://www.163.com/'
);
$save_to
=
'/test.txt'
;
// 把抓取的代码写入该文件
$st
=
fopen
(
$save_to
,
"a"
);
$mh
= curl_multi_init();
foreach
(
$urls
as
$i
=>
$url
) {
$conn
[
$i
] = curl_init(
$url
);
curl_setopt(
$conn
[
$i
], CURLOPT_USERAGENT,
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"
);
curl_setopt(
$conn
[
$i
], CURLOPT_HEADER ,0);
curl_setopt(
$conn
[
$i
], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt(
$conn
[
$i
],CURLOPT_RETURNTRANSFER,true);
// 设置不将爬取代码写到浏览器，而是转化为字符串
curl_multi_add_handle (
$mh
,
$conn
[
$i
]);
}
do
{
curl_multi_exec(
$mh
,
$active
);
}
while
(
$active
);
foreach
(
$urls
as
$i
=>
$url
) {
$data
= curl_multi_getcontent(
$conn
[
$i
]);
// 获得爬取的代码字符串
fwrite(
$st
,
$data
);
// 将字符串写入文件。当然，也可以不写入文件，比如存入数据库
}
// 获得数据变量，并写入文件
foreach
(
$urls
as
$i
=>
$url
) {
curl_multi_remove_handle(
$mh
,
$conn
[
$i
]);
curl_close(
$conn
[
$i
]);
}
curl_multi_close(
$mh
);
fclose(
$st
);
?>
|
以上所述就是本文的全部内容了，希望大家能够喜欢.
最后此篇关于PHP使用CURL实现多线程抓取网页的文章就讲到这里了,如果你想了解更多关于PHP使用CURL实现多线程抓取网页的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
24
4
0
我在 JavaScript 文件中运行 PHP，例如...... var = '';). 我需要使用 JavaScript 来扫描字符串中的 PHP 定界符(打开和关闭 PHP 的 )。 我已经知道使
我希望能够做这样的事情: php --determine-oldest-supported-php-version test.php 并得到这个输出: 7.2 也就是说，php 二进制检查 test.
我正在开发一个目前不使用任何框架的大型 php 站点。我的大问题是，随着时间的推移慢慢尝试将框架融入应用程序是否可取，例如在创建的新部件和更新的旧部件中？ 比如所有的页面都是直接通过url服务的，有几
下面是我的源代码，我想在同一页面顶部的另一个 php 脚本中使用位于底部 php 脚本的变量 $r1。我需要一个简单的解决方案来解决这个问题。我想在代码中存在的更新查询中使用该变量。 $name)
我正在制作一个网站，根据不同的情况进行大量 PHP 重定向。就像这样...... header("Location: somesite.com/redirectedpage.php"); 为了安全起见
我有一个旧网站，我的 php 标签从 因为短标签已经显示出安全问题，并且在未来的版本中将不被支持。 关于php - 如何避免在 php 文件中写入
我有一个用 PHP 编写的配置文件，如下所示， 所以我想用PHP开发一个接口(interface)，它可以编辑文件值，如$WEBPATH , $ACCOUNTPATH和 const值(value)观
我试图制作一个登录页面来学习基本的PHP，首先我希望我的独立PHP文件存储HTML文件的输入(带有表单)，但是当我按下按钮时(触发POST到PHP脚本) )我一直收到令人不愉快的错误。 我已经搜索了S
我正在寻找一种让 PHP 以一种形式打印任意数组的方法，我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
这个问题已经有答案了: 已关闭11 年前。 Possible Duplicate: What is the max key size for an array in PHP? 正如标题所说，我想知道
我正在寻找一种让 PHP 以一种形式打印任意数组的方法，我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 9 年前。 Improve this ques
我在 MySQL 数据库中有一个表，其中存储餐厅在每个工作日和时段提供的菜单。 表结构如下: i_type i_name i_cost i_day i_start i_
我有两页。 test1.php 和 test2.php。 我想做的就是在 test1.php 上点击提交，并将 test2.php 显示在 div 中。这实际上工作正常，但我需要向 test2.php
我得到了这个代码。我想通过textarea更新mysql。我在textarea中回显我的MySQL，但我不知道如何更新它，我应该把所有东西都放进去吗，因为_GET模式没有给我任何东西，我也尝试_GET
首先，我是 php 的新手，所以我仍在努力学习。我在 Wordpress 上创建了一个表单，我想将值插入一个表(data_test 表，我已经管理了)，然后从 data_test 表中获取所有列(id
我有以下函数可以清理用户或网址的输入: function SanitizeString($var) { $var=stripslashes($var); $va
我有一个 html 页面，它使用 php 文件查询数据库，然后让用户登录，否则拒绝访问。我遇到的问题是它只是重定向到 php 文件的 url，并且从不对发生的事情提供反馈。这是我第一次使用 html、
我有一个页面充满了指向 pdf 的链接，我想跟踪哪些链接被单击。我以为我可以做如下的事情，但遇到了问题: query($sql); if($result){
我正在使用 从外部文本文件加载 HTML/PHP 代码 $f = fopen($filename, "r"); while ($line = fgets($f, 4096)) { print $l
我是一名优秀的程序员,十分优秀！