个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章一个简易的Java多页面队列爬虫程序由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
之前写过很多单页面python爬虫，感觉python还是很好用的，这里用java总结一个多页面的爬虫，迭代爬取种子页面的所有链接的页面，全部保存在tmp路径下。 。
1、 序言 。
实现这个爬虫需要两个数据结构支持，unvisited队列(priorityqueue：可以适用pagerank等算法计算出url重要度)和visited表（hashset：可以快速查找url是否存在）；队列用于实现宽度优先爬取，visited表用于记录爬取过的url，不再重复爬取，避免了环。java爬虫需要的工具包有httpclient和htmlparser1.5，可以在maven repo中查看具体版本的下载。 1、目标网站：新浪 http://www.sina.com.cn/ 2、结果截图： 。
下面说说爬虫的实现，后期源码会上传到github中，需要的朋友可以留言:
2、爬虫编程 1、创建种子页面的url MyCrawler crawler = new MyCrawler(); crawler.crawling(new String[]{"http://www.sina.com.cn/"}),
2、初始化unvisited表为上面的种子url LinkQueue.addUnvisitedUrl(seeds[i]),
3、最主要的逻辑实现部分：在队列中取出没有visit过的url，进行下载，然后加入visited的表，并解析改url页面上的其它url，把未读取的加入到unvisited队列；迭代到队列为空停止，所以这个url网络还是很庞大的。注意，这里的页面下载和页面解析需要java的工具包实现，下面具体说明下工具包的使用。 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
while
(!LinkQueue.unVisitedUrlsEmpty()&&LinkQueue.getVisitedUrlNum()<=
1000
)
{
//队头URL出队列
String visitUrl=(String)LinkQueue.unVisitedUrlDeQueue();
if
(visitUrl==
null
)
continue
;
DownLoadFile downLoader=
new
DownLoadFile();
//下载网页
downLoader.downloadFile(visitUrl);
//该 url 放入到已访问的 URL 中
LinkQueue.addVisitedUrl(visitUrl);
//提取出下载网页中的 URL
Set<String> links=HtmlParserTool.extracLinks(visitUrl,filter);
//新的未访问的 URL 入队
for
(String link:links)
{
LinkQueue.addUnvisitedUrl(link);
}
}
|
4、下面html页面的download工具包 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
|
public
String downloadFile(String url) {
String filePath =
null
;
/* 1.生成 HttpClinet 对象并设置参数 */
HttpClient httpClient = new HttpClient();
// 设置 Http 连接超时 5s
httpClient.getHttpConnectionManager().getParams().setConnectionTimeout(
5000);
/* 2.生成 GetMethod 对象并设置参数 */
GetMethod getMethod = new GetMethod(url);
// 设置 get 请求超时 5s
getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT, 5000);
// 设置请求重试处理
getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
new DefaultHttpMethodRetryHandler());
/* 3.执行 HTTP GET 请求 */
try {
int statusCode = httpClient.executeMethod(getMethod);
// 判断访问的状态码
if (statusCode != HttpStatus.SC_OK) {
System.err.println("Method failed: "
+ getMethod.getStatusLine());
filePath = null;
}
/* 4.处理 HTTP 响应内容 */
byte
[] responseBody = getMethod.getResponseBody();
// 读取为字节数组
// 根据网页 url 生成保存时的文件名
filePath =
"temp\\"
+ getFileNameByUrl(url, getMethod.getResponseHeader(
"Content-Type"
).getValue());
saveToLocal(responseBody, filePath);
}
catch
(HttpException e) {
// 发生致命的异常，可能是协议不对或者返回的内容有问题
System.out.println(
"Please check your provided http address!"
);
e.printStackTrace();
}
catch
(IOException e) {
// 发生网络异常
e.printStackTrace();
}
finally
{
// 释放连接
getMethod.releaseConnection();
}
return
filePath;
}
|
5、html页面的解析工具包： 。
。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
|
public
static
Set<String> extracLinks(String url, LinkFilter filter) {
Set<String> links =
new
HashSet<String>();
try
{
Parser parser =
new
Parser(url);
parser.setEncoding(
"gb2312"
);
// 过滤 <frame >标签的 filter，用来提取 frame 标签里的 src 属性所表示的链接
NodeFilter frameFilter =
new
NodeFilter() {
public
boolean
accept(Node node) {
if
(node.getText().startsWith(
"frame src="
)) {
return
true
;
}
else
{
return
false
;
}
}
};
// OrFilter 来设置过滤 <a> 标签，和 <frame> 标签
OrFilter linkFilter =
new
OrFilter(
new
NodeClassFilter(
LinkTag.
class
), frameFilter);
// 得到所有经过过滤的标签
NodeList list = parser.extractAllNodesThatMatch(linkFilter);
for
(
int
i =
0
; i < list.size(); i++) {
Node tag = list.elementAt(i);
if
(tag
instanceof
LinkTag)
// <a> 标签
{
LinkTag link = (LinkTag) tag;
String linkUrl = link.getLink();
// url
if
(filter.accept(linkUrl))
links.add(linkUrl);
}
else
// <frame> 标签
{
// 提取 frame 里 src 属性的链接如 <frame src="test.html"/>
String frame = tag.getText();
int
start = frame.indexOf(
"src="
);
frame = frame.substring(start);
int
end = frame.indexOf(
" "
);
if
(end == -
1
)
end = frame.indexOf(
">"
);
String frameUrl = frame.substring(
5
, end -
1
);
if
(filter.accept(frameUrl))
links.add(frameUrl);
}
}
}
catch
(ParserException e) {
e.printStackTrace();
}
return
links;
}
|
6、未访问页面使用PriorityQueue带偏好的队列保存，主要是为了适用于pagerank等算法，有的url忠诚度更高一些；visited表采用hashset实现，注意可以快速查找是否存在； 。
。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
|
public
class
LinkQueue {
//已访问的 url 集合
private
static
Set visitedUrl =
new
HashSet();
//待访问的 url 集合
private
static
Queue unVisitedUrl =
new
PriorityQueue();
//获得URL队列
public
static
Queue getUnVisitedUrl() {
return
unVisitedUrl;
}
//添加到访问过的URL队列中
public
static
void
addVisitedUrl(String url) {
visitedUrl.add(url);
}
//移除访问过的URL
public
static
void
removeVisitedUrl(String url) {
visitedUrl.remove(url);
}
//未访问的URL出队列
public
static
Object unVisitedUrlDeQueue() {
return
unVisitedUrl.poll();
}
// 保证每个 url 只被访问一次
public
static
void
addUnvisitedUrl(String url) {
if
(url !=
null
&& !url.trim().equals(
""
)
&& !visitedUrl.contains(url)
&& !unVisitedUrl.contains(url))
unVisitedUrl.add(url);
}
//获得已经访问的URL数目
public
static
int
getVisitedUrlNum() {
return
visitedUrl.size();
}
//判断未访问的URL队列中是否为空
public
static
boolean
unVisitedUrlsEmpty() {
return
unVisitedUrl.isEmpty();
}
}
|
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我.
最后此篇关于一个简易的Java多页面队列爬虫程序的文章就讲到这里了,如果你想了解更多关于一个简易的Java多页面队列爬虫程序的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
我正在设计一个可在hbase上运行的应用程序，并且希望以交互方式浏览集群的内容。我在hbase shell中，我想对所有以chars“abc”开头的键进行扫描。这样的键可能包括“abc4”，“abc9
我是一名优秀的程序员,十分优秀！