gpt4 book ai didi

Python爬虫包 BeautifulSoup 递归抓取实例详解

转载 作者:qq735679552 更新时间:2022-09-27 22:32:09 26 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python爬虫包 BeautifulSoup 递归抓取实例详解由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

Python爬虫包 BeautifulSoup  递归抓取实例详解 。

概要:

爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容,然后分析页面内容并找到另一个URL,然后获得这个URL的页面内容,不断重复这一个过程.

让我们以维基百科为一个例子.

我们想要将维基百科中凯文·贝肯词条里所有指向别的词条的链接提取出来.

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
# -*- coding: utf-8 -*-
# @Author: HaonanWu
# @Date:  2016-12-25 10:35:00
# @Last Modified by:  HaonanWu
# @Last Modified time: 2016-12-25 10:52:26
from urllib2 import urlopen
from bs4 import BeautifulSoup
 
html = urlopen( 'http://en.wikipedia.org/wiki/Kevin_Bacon' )
bsObj = BeautifulSoup(html, "html.parser" )
 
for link in bsObj.findAll( "a" ):
   if 'href' in link.attrs:
     print link.attrs[ 'href' ]

上面这个代码能够将页面上的所有超链接都提取出来.

?
1
2
3
4
5
6
7
8
9
/ wiki / Wikipedia:Protection_policy #semi
#mw-head
#p-search
/ wiki / Kevin_Bacon_(disambiguation)
/ wiki / File :Kevin_Bacon_SDCC_2014.jpg
/ wiki / San_Diego_Comic - Con
/ wiki / Philadelphia
/ wiki / Pennsylvania
/ wiki / Kyra_Sedgwick

首先,提取出来的URL可能会有一些重复的 。

其次,有一些URL是我们不需要的,如侧边栏、页眉、页脚、目录栏链接等等.

所以通过观察,我们可以发现所有指向词条页面的链接都有三个特点:

  • 它们都在id是bodyContent的div标签里
  • URL链接不包含冒号
  • URL链接都是以/wiki/开头的相对路径(也会爬到完整的有http开头的绝对路径)
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from urllib2 import urlopen
from bs4 import BeautifulSoup
import datetime
import random
import re
 
pages = set ()
random.seed(datetime.datetime.now())
def getLinks(articleUrl):
   html = urlopen( "http://en.wikipedia.org" + articleUrl)
   bsObj = BeautifulSoup(html, "html.parser" )
   return bsObj.find( "div" , { "id" : "bodyContent" }).findAll( "a" , href = re. compile ( "^(/wiki/)((?!:).)*$" ))
 
links = getLinks( "/wiki/Kevin_Bacon" )
while len (links) > 0 :
   newArticle = links[random.randint( 0 , len (links) - 1 )].attrs[ "href" ]
   if newArticle not in pages:
     print (newArticle)
     pages.add(newArticle)
     links = getLinks(newArticle)

其中getLinks的参数是/wiki/<词条名称>,并通过和维基百科的绝对路径合并得到页面的URL。通过正则表达式捕获所有指向其他词条的URL,并返回给主函数.

主函数则通过调用递归getlinks并随机访问一条没有访问过的URL,直到没有了词条或者主动停止为止.

这份代码可以将整个维基百科都抓取下来 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
 
pages = set ()
def getLinks(pageUrl):
   global pages
   html = urlopen( "http://en.wikipedia.org" + pageUrl)
   bsObj = BeautifulSoup(html, "html.parser" )
   try :
     print (bsObj.h1.get_text())
     print (bsObj.find( id = "mw-content-text" ).findAll( "p" )[ 0 ])
     print (bsObj.find( id = "ca-edit" ).find( "span" ).find( "a" ).attrs[ 'href' ])
   except AttributeError:
     print ( "This page is missing something! No worries though!" )
 
   for link in bsObj.findAll( "a" , href = re. compile ( "^(/wiki/)" )):
     if 'href' in link.attrs:
       if link.attrs[ 'href' ] not in pages:
         #We have encountered a new page
         newPage = link.attrs[ 'href' ]
         print ( "----------------\n" + newPage)
         pages.add(newPage)
         getLinks(newPage)
getLinks("")

一般来说Python的递归限制是1000次,所以需要人为地设置一个较大的递归计数器,或者用其他手段让代码在迭代1000次之后还能运行.

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持! 。

原文链接:http://blog.csdn.net/u013007900/article/details/53868703 。

最后此篇关于Python爬虫包 BeautifulSoup 递归抓取实例详解的文章就讲到这里了,如果你想了解更多关于Python爬虫包 BeautifulSoup 递归抓取实例详解的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com