- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python爬虫包 BeautifulSoup 递归抓取实例详解由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
Python爬虫包 BeautifulSoup 递归抓取实例详解 。
概要:
爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容,然后分析页面内容并找到另一个URL,然后获得这个URL的页面内容,不断重复这一个过程.
让我们以维基百科为一个例子.
我们想要将维基百科中凯文·贝肯词条里所有指向别的词条的链接提取出来.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
# -*- coding: utf-8 -*-
# @Author: HaonanWu
# @Date: 2016-12-25 10:35:00
# @Last Modified by: HaonanWu
# @Last Modified time: 2016-12-25 10:52:26
from
urllib2
import
urlopen
from
bs4
import
BeautifulSoup
html
=
urlopen(
'http://en.wikipedia.org/wiki/Kevin_Bacon'
)
bsObj
=
BeautifulSoup(html,
"html.parser"
)
for
link
in
bsObj.findAll(
"a"
):
if
'href'
in
link.attrs:
print
link.attrs[
'href'
]
|
上面这个代码能够将页面上的所有超链接都提取出来.
1
2
3
4
5
6
7
8
9
|
/
wiki
/
Wikipedia:Protection_policy
#semi
#mw-head
#p-search
/
wiki
/
Kevin_Bacon_(disambiguation)
/
wiki
/
File
:Kevin_Bacon_SDCC_2014.jpg
/
wiki
/
San_Diego_Comic
-
Con
/
wiki
/
Philadelphia
/
wiki
/
Pennsylvania
/
wiki
/
Kyra_Sedgwick
|
首先,提取出来的URL可能会有一些重复的 。
其次,有一些URL是我们不需要的,如侧边栏、页眉、页脚、目录栏链接等等.
所以通过观察,我们可以发现所有指向词条页面的链接都有三个特点:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
from
urllib2
import
urlopen
from
bs4
import
BeautifulSoup
import
datetime
import
random
import
re
pages
=
set
()
random.seed(datetime.datetime.now())
def
getLinks(articleUrl):
html
=
urlopen(
"http://en.wikipedia.org"
+
articleUrl)
bsObj
=
BeautifulSoup(html,
"html.parser"
)
return
bsObj.find(
"div"
, {
"id"
:
"bodyContent"
}).findAll(
"a"
, href
=
re.
compile
(
"^(/wiki/)((?!:).)*$"
))
links
=
getLinks(
"/wiki/Kevin_Bacon"
)
while
len
(links) >
0
:
newArticle
=
links[random.randint(
0
,
len
(links)
-
1
)].attrs[
"href"
]
if
newArticle
not
in
pages:
print
(newArticle)
pages.add(newArticle)
links
=
getLinks(newArticle)
|
其中getLinks的参数是/wiki/<词条名称>,并通过和维基百科的绝对路径合并得到页面的URL。通过正则表达式捕获所有指向其他词条的URL,并返回给主函数.
主函数则通过调用递归getlinks并随机访问一条没有访问过的URL,直到没有了词条或者主动停止为止.
这份代码可以将整个维基百科都抓取下来 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
from
urllib.request
import
urlopen
from
bs4
import
BeautifulSoup
import
re
pages
=
set
()
def
getLinks(pageUrl):
global
pages
html
=
urlopen(
"http://en.wikipedia.org"
+
pageUrl)
bsObj
=
BeautifulSoup(html,
"html.parser"
)
try
:
print
(bsObj.h1.get_text())
print
(bsObj.find(
id
=
"mw-content-text"
).findAll(
"p"
)[
0
])
print
(bsObj.find(
id
=
"ca-edit"
).find(
"span"
).find(
"a"
).attrs[
'href'
])
except
AttributeError:
print
(
"This page is missing something! No worries though!"
)
for
link
in
bsObj.findAll(
"a"
, href
=
re.
compile
(
"^(/wiki/)"
)):
if
'href'
in
link.attrs:
if
link.attrs[
'href'
]
not
in
pages:
#We have encountered a new page
newPage
=
link.attrs[
'href'
]
print
(
"----------------\n"
+
newPage)
pages.add(newPage)
getLinks(newPage)
getLinks("")
|
一般来说Python的递归限制是1000次,所以需要人为地设置一个较大的递归计数器,或者用其他手段让代码在迭代1000次之后还能运行.
感谢阅读,希望能帮助到大家,谢谢大家对本站的支持! 。
原文链接:http://blog.csdn.net/u013007900/article/details/53868703 。
最后此篇关于Python爬虫包 BeautifulSoup 递归抓取实例详解的文章就讲到这里了,如果你想了解更多关于Python爬虫包 BeautifulSoup 递归抓取实例详解的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
有没有一种方法可以使用标准类型构造函数(例如 int、set、dict、list、tuple 等)以用户定义的方式将用户定义类的实例强制转换为其中一种类型?例如 class Example:
我知道这个问题在Stackoverflow中有很多问题,但是即使有很多答案,这些答案也帮不了我什么,也没有找到答案。 在我的WebAPP中,它可以正常工作,但是当我将其转换为API时,它失败了(主题标
这个问题已经有答案了: Why does the ternary operator unexpectedly cast integers? (3 个回答) 已关闭 9 年前。 最近遇到一个Java的陷
我尝试使用 FirebaseApp.configure() 配置 Firebase,但遇到以下崩溃: *** Terminating app due to uncaught exception 'c
我有一个自连接员工实体类,其中包含与其自身相关的 id、name 和 ref 列。我想创建它的新实例并将其保存到数据库。 首先我创建了一个 Employee 类的实例并将其命名为 manager。然后
我有一个用于添加新公寓的表单,在该表单中我有一个下拉列表,用户可以在其中选择负责的人员。 显然,当您从下拉列表中选择并尝试保存公寓时,我的应用程序认为该人已被修改。它给了我下面的错误,指示我应该首先保
从 Visualforce 页面,我需要检索我们组织的 salesforce 实例的 URL,而不是 Visual Force URL。 例如我需要https://cs1.salesforce.com
我遇到了一些可能的问题答案,但这是关于从 Hibernate 3.4.0GA 升级到 Hibernate 4.1.8 的问题。所以这曾经在以前的版本下工作,我已经四处搜索了为什么它在这个新版本中出现了
似乎一遍又一遍地问这个问题,我仍然找不到解决我问题的答案。我在下面有一个域模型。每个新创建或更新的“安全用户”都需要我确保其具有配置文件,如果没有,则创建一个新的配置文件并分配给它。 配置文件的要求相
我很难调试为什么 JPA 不级联我的 @ManyToMany 关系。我发现的所有答案都与缺少级联语句有关。但我确实拥有它们并且仍然得到: Caused by: org.hibernate.Transi
Play 服务 API 表明有一个叫做 Instance ID 的东西 但是,在 Android Studio 中包含以下内容后,我无法导入 InstanceID 类 compile "com.goo
我正在使用 Seam 框架。我有 2 个实体: 请求.java @Entity @Table(name = "SRV_REQUEST") public class Request { private
This question处理构建一个适当的Monad来自单子(monad)的实例,但仅在某些约束下 - 例如Set .诀窍是将其包装成 ContT ,它将约束推迟到包装/展开其值。 现在我想对 Ap
我正在尝试执行此查询: StringBuffer sb = new StringBuffer(); sb.append("select p from PointsEntity p " + "where
我试图了解是否可以更改我的 hibernate 配置并使用单个 MySQL 实例(而不是我当前拥有的多个 MySQL 实例): 我有一个使用 hibernate 的 Java 应用程序,与 2 个模式
我有一个选项卡滑动布局,其中包括四个选项卡,每个选项卡都有自己的布局和 fragment ,在我的主要 Activity 布局中,viewpager 参与更改选项卡。特定 View (选项卡)在应用程
我看到很多帖子声称他们正在运行 MySql 的 RDS 实例,但无法连接到该实例,但我没有运行 RDS。 我使用 EC2 实例来托管我的 WordPress 博客,该博客是使用 Web 平台安装程序安
因为我在我的 ec-2 实例上的 python 虚拟环境中运行应用程序( Airflow ),并且我想在同一个 ec2 实例上的默认 python 环境中运行命令,所以我认为 ssh 到我自己的实例更
这个问题已经有答案了: How to fix the Hibernate "object references an unsaved transient instance - save the tra
例子: run APP1 .. ... run APP1 ... run APP2 如何在 APP2 中对 Vue 说我需要调用 APP1?
我是一名优秀的程序员,十分优秀!