个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
26
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章PHP抓取及分析网页的方法详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
本文实例讲述了PHP抓取及分析网页的方法。分享给大家供大家参考，具体如下:
抓取和分析一个文件是非常简单的事。这个教程将通过一个例子带领你一步一步地去实现它。让我们开始吧！ 。
首先，我首必须决定我们将抓取的URL地址。可以通过在脚本中设定或通过$QUERY_STRING传递。为了简单起见，让我们将变量直接设在脚本中.
|
1
2
3
|
<?php
$url
=
'http://www.php.net'
;
?>
|
第二步，我们抓取指定文件，并且通过file()函数将它存在一个数组里.
|
1
2
3
4
|
<?php
$url
=
'http://www.php.net'
;
$lines_array
= file(
$url
);
?>
|
好了，现在在数组里已经有了文件了。但是，我们想分析的文本可能不全在一行里面。为了解决这个文件，我们可以简单地将数组$lines_array转化成一个字符串。我们可以使用implode(x,y)函数来实现它。如果在后面你想用explode(将字符串变量数组)，将x设成"|"或"!"或其它类似的分隔符可能会更好。但是出于我们的目的，最好将x设成空格。y是另一个必要的参数，因为它是你想用implode()处理的数组.
|
1
2
3
4
5
|
<?php
$url
=
'http://www.php.net'
;
$lines_array
= file(
$url
);
$lines_string
= implode(
''
,
$lines_array
);
?>
|
现在，抓取工作就做完了，下面该进行分析了。出于这个例子的目的，我们想得到在<head>到</head>之间的所有东西。为了分析出字符串，我们还需要叫做正规表达式的东西.
|
1
2
3
4
5
6
|
<?php
$url
=
'http://www.php.net'
;
$lines_array
= file(
$url
);
$lines_string
= implode(
''
,
$lines_array
);
eregi
(
"<head>(.*)</head>"
,
$lines_string
,
$head
);
?>
|
让我们看一下代码。正如你所见，eregi()函数按下面的格式执行:
|
1
|
eregi
(
"<head>(.*)</head>"
,
$lines_string
,
$head
);
|
"(.*)"表示所有东西，可以解释为，"分析在<head>和</head>间的所以东西"。$lines_string是我们正在分析的字符串，$head是分析后的结果存放的数组.
最后，我们可以输数据。因为仅在<head>和</head>间存在一个实例，我们可以安全的假设数组中仅存在着一个元素，而且就是我们想要的。让我们把它打印出来吧.
|
1
2
3
4
5
6
|
<?php
$url
=
'http://www.php.net'
;
$lines_array
= file(
$url
);
$lines_string
= implode(
''
,
$lines_array
);
eregi
(
"<head>(.*)</head>"
,
$lines_string
,
$head
);
echo
$head
[0];
?>
|
这就是全部的代码了.
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
|
<?php
//获取所有内容url保存到文件
function
get_index (
$save_file
,
$prefix
=
"index_"
){
$count
= 68 ;
$i
= 1 ;
if
(
file_exists
(
$save_file
)) @ unlink (
$save_file
);
$fp
=
fopen
(
$save_file
,
"a+"
)
or
die
(
"Open "
.
$save_file
.
" failed"
);
while
(
$i
<
$count
){
$url
=
$prefix
.
$i
.
".htm"
;
echo
"Get "
.
$url
.
"..."
;
$url_str
= get_content_url ( get_url (
$url
));
echo
" OK/n"
;
fwrite (
$fp
,
$url_str
);
++
$i
;
}
fclose (
$fp
);
}
//获取目标多媒体对象
function
get_object (
$url_file
,
$save_file
,
$split
=
"|--:**:--|"
){
if
(!
file_exists
(
$url_file
))
die
(
$url_file
.
" not exist"
);
$file_arr
= file (
$url_file
);
if
(!
is_array
(
$file_arr
) ||
empty
(
$file_arr
))
die
(
$url_file
.
" not content"
);
$url_arr
=
array_unique
(
$file_arr
);
if
(
file_exists
(
$save_file
)) @ unlink (
$save_file
);
$fp
=
fopen
(
$save_file
,
"a+"
)
or
die
(
"Open save file "
.
$save_file
.
" failed"
);
foreach
(
$url_arr
as
$url
){
if
(
empty
(
$url
))
continue
;
echo
"Get "
.
$url
.
"..."
;
$html_str
= get_url (
$url
);
echo
$html_str
;
echo
$url
;
exit
;
$obj_str
= get_content_object (
$html_str
);
echo
" OK/n"
;
fwrite (
$fp
,
$obj_str
);
}
fclose (
$fp
);
}
//遍历目录获取文件内容
function
get_dir (
$save_file
,
$dir
){
$dp
= opendir (
$dir
);
if
(
file_exists
(
$save_file
)) @ unlink (
$save_file
);
$fp
=
fopen
(
$save_file
,
"a+"
)
or
die
(
"Open save file "
.
$save_file
.
" failed"
);
while
((
$file
= readdir (
$dp
)) != false ){
if
(
$file
!=
"."
&&
$file
!=
".."
){
echo
"Read file "
.
$file
.
"..."
;
$file_content
=
file_get_contents
(
$dir
.
$file
);
$obj_str
= get_content_object (
$file_content
);
echo
" OK/n"
;
fwrite (
$fp
,
$obj_str
);
}
}
fclose (
$fp
);
}
//获取指定url内容
function
get_url (
$url
){
$reg
=
'/^http:////[^//].+$/'
;
if
(! preg_match (
$reg
,
$url
))
die
(
$url
.
" invalid"
);
$fp
=
fopen
(
$url
,
"r"
)
or
die
(
"Open url: "
.
$url
.
" failed."
);
while
(
$fc
=
fread
(
$fp
, 8192 )){
$content
.=
$fc
;
}
fclose (
$fp
);
if
(
empty
(
$content
)){
die
(
"Get url: "
.
$url
.
" content failed."
);
}
return
$content
;
}
//使用socket获取指定网页
function
get_content_by_socket (
$url
,
$host
){
$fp
=
fsockopen
(
$host
, 80 )
or
die
(
"Open "
.
$url
.
" failed"
);
$header
=
"GET /"
.
$url
.
" HTTP/1.1/r/n"
;
$header
.=
"Accept: */*/r/n"
;
$header
.=
"Accept-Language: zh-cn/r/n"
;
$header
.=
"Accept-Encoding: gzip, deflate/r/n"
;
$header
.=
"User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon; InfoPath.1; .NET CLR 2.0.50727)/r/n"
;
$header
.=
"Host: "
.
$host
.
"/r/n"
;
$header
.=
"Connection: Keep-Alive/r/n"
;
//$header .= "Cookie: cnzz02=2; rtime=1; ltime=1148456424859; cnzz_eid=56601755-/r/n/r/n";
$header
.=
"Connection: Close/r/n/r/n"
;
fwrite (
$fp
,
$header
);
while
(!
feof
(
$fp
)) {
$contents
.=
fgets
(
$fp
, 8192 );
}
fclose (
$fp
);
return
$contents
;
}
//获取指定内容里的url
function
get_content_url (
$host_url
,
$file_contents
){
//$reg = '/^(#|<a href="http://lib.csdn.net/base/18" class='replace_word' id="codetool">
希望本文所述对大家PHP程序设计有所帮助.
|
最后此篇关于PHP抓取及分析网页的方法详解的文章就讲到这里了,如果你想了解更多关于PHP抓取及分析网页的方法详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
26
4
0
我在 JavaScript 文件中运行 PHP，例如...... var = '';). 我需要使用 JavaScript 来扫描字符串中的 PHP 定界符(打开和关闭 PHP 的 )。 我已经知道使
我希望能够做这样的事情: php --determine-oldest-supported-php-version test.php 并得到这个输出: 7.2 也就是说，php 二进制检查 test.
我正在开发一个目前不使用任何框架的大型 php 站点。我的大问题是，随着时间的推移慢慢尝试将框架融入应用程序是否可取，例如在创建的新部件和更新的旧部件中？ 比如所有的页面都是直接通过url服务的，有几
下面是我的源代码，我想在同一页面顶部的另一个 php 脚本中使用位于底部 php 脚本的变量 $r1。我需要一个简单的解决方案来解决这个问题。我想在代码中存在的更新查询中使用该变量。 $name)
我正在制作一个网站，根据不同的情况进行大量 PHP 重定向。就像这样...... header("Location: somesite.com/redirectedpage.php"); 为了安全起见
我有一个旧网站，我的 php 标签从 因为短标签已经显示出安全问题，并且在未来的版本中将不被支持。 关于php - 如何避免在 php 文件中写入
我有一个用 PHP 编写的配置文件，如下所示， 所以我想用PHP开发一个接口(interface)，它可以编辑文件值，如$WEBPATH , $ACCOUNTPATH和 const值(value)观
我试图制作一个登录页面来学习基本的PHP，首先我希望我的独立PHP文件存储HTML文件的输入(带有表单)，但是当我按下按钮时(触发POST到PHP脚本) )我一直收到令人不愉快的错误。 我已经搜索了S
我正在寻找一种让 PHP 以一种形式打印任意数组的方法，我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
这个问题已经有答案了: 已关闭11 年前。 Possible Duplicate: What is the max key size for an array in PHP? 正如标题所说，我想知道
我正在寻找一种让 PHP 以一种形式打印任意数组的方法，我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 9 年前。 Improve this ques
我在 MySQL 数据库中有一个表，其中存储餐厅在每个工作日和时段提供的菜单。 表结构如下: i_type i_name i_cost i_day i_start i_
我有两页。 test1.php 和 test2.php。 我想做的就是在 test1.php 上点击提交，并将 test2.php 显示在 div 中。这实际上工作正常，但我需要向 test2.php
我得到了这个代码。我想通过textarea更新mysql。我在textarea中回显我的MySQL，但我不知道如何更新它，我应该把所有东西都放进去吗，因为_GET模式没有给我任何东西，我也尝试_GET
首先，我是 php 的新手，所以我仍在努力学习。我在 Wordpress 上创建了一个表单，我想将值插入一个表(data_test 表，我已经管理了)，然后从 data_test 表中获取所有列(id
我有以下函数可以清理用户或网址的输入: function SanitizeString($var) { $var=stripslashes($var); $va
我有一个 html 页面，它使用 php 文件查询数据库，然后让用户登录，否则拒绝访问。我遇到的问题是它只是重定向到 php 文件的 url，并且从不对发生的事情提供反馈。这是我第一次使用 html、
我有一个页面充满了指向 pdf 的链接，我想跟踪哪些链接被单击。我以为我可以做如下的事情，但遇到了问题: query($sql); if($result){
我正在使用 从外部文本文件加载 HTML/PHP 代码 $f = fopen($filename, "r"); while ($line = fgets($f, 4096)) { print $l
我是一名优秀的程序员,十分优秀！
