个人中心
gpt4 book ai didi

面向新手解析python Beautiful Soup基本用法

转载 作者：qq735679552 更新时间：2022-09-29 22:32:09 27 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章面向新手解析python Beautiful Soup基本用法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。它有如下三个特点:

  • Beautiful Soup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。
  • Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时你仅仅需要说明一下原始编码方式就可以了。
  • Beautiful Soup已成为和lxml、html6lib一样出色的Python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

首先，我们要安装它：pip install bs4,然后安装 pip install beautifulsoup4. 。

Beautiful Soup支持的解析器 。

面向新手解析python Beautiful Soup基本用法

下面我们以lxml解析器为例:

from bs4 import BeautifulSoup soup = BeautifulSoup('<p>Hello</p>', 'lxml') print(soup.p.string) 。

结果:

Hello 。

beautiful soup美化的效果实例:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml' ) #调用prettify()方法。这个方法可以把要解析的字符串以标准的缩进格式输出
print (soup.prettify())
print (soup.title.string)

结果:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<html>
  <head>
  <title>
   The Dormouse's story
  </title>
  </head>
  <body>
  <p class="title" name="dromouse">
   <b>
   The Dormouse's story
   </b>
  </p>
  <p class="story">
   Once upon a time there were three little sisters; and their names were
   <a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1">
   <!-- Elsie -->
   </a>
   ,
   <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">
   Lacie
   </a>
   and
   <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">
   Tillie
   </a>
   ;
and they lived at the bottom of a well.
  </p>
  <p class="story">
   ...
  </p>
  </body>
</html>
The Dormouse's story

下面举例说明选择元素、属性、名称的方法 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml' )
print ( '输出结果为title节点加里面的文字内容:\n' ,soup.title)
print ( '输出它的类型:\n' , type (soup.title))
print ( '输出节点的文本内容:\n' ,soup.title.string)
print ( '结果是节点加其内部的所有内容:\n' ,soup.head)
print ( '结果是第一个p节点的内容:\n' ,soup.p)
print ( '利用name属性获取节点的名称:\n' ,soup.title.name)
#这里需要注意的是，有的返回结果是字符串，有的返回结果是字符串组成的列表。
# 比如，name属性的值是唯一的，返回的结果就是单个字符串。
# 而对于class，一个节点元素可能有多个class，所以返回的是列表。
print ( '每个节点可能有多个属性，比如id和class等:\n' ,soup.p.attrs)
print ( '选择这个节点元素后，可以调用attrs获取所有属性：\n' ,soup.p.attrs[ 'name' ])
print ( '获取p标签的name属性值：\n' ,soup.p[ 'name' ])
print ( '获取p标签的class属性值：\n' ,soup.p[ 'class' ])
print ( '获取第一个p节点的文本:\n' ,soup.p.string)

结果:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
输出结果为title节点加里面的文字内容:
<title>The Dormouse's story</title>
输出它的类型:
<class 'bs4.element.Tag'>
输出节点的文本内容:
The Dormouse's story
结果是节点加其内部的所有内容:
<head><title>The Dormouse's story</title></head>
结果是第一个p节点的内容:
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
利用name属性获取节点的名称:
title
每个节点可能有多个属性，比如id和class等:
{'class': ['title'], 'name': 'dromouse'}
选择这个节点元素后，可以调用attrs获取所有属性：
dromouse
获取p标签的name属性值：
dromouse
获取p标签的class属性值：
['title']
获取第一个p节点的文本:
The Dormouse's story

在上面的例子中，我们知道每一个返回结果都是bs4.element.Tag类型，它同样可以继续调用节点进行下一步的选择.

?
1
2
3
4
5
6
7
8
9
html = """
< html >< head >< title >The Dormouse's story</ title ></ head >
< body >
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('获取了head节点元素，继续调用head来选取其内部的head节点元素:\n',soup.head.title)
print('继续调用输出类型：\n',type(soup.head.title))
print('继续调用输出内容：\n',soup.head.title.string)

结果:

?
1
2
3
4
5
6
获取了head节点元素，继续调用head来选取其内部的head节点元素:
  <title>The Dormouse's story</title>
继续调用输出类型：
  <class 'bs4.element.Tag'>
继续调用输出内容：
  The Dormouse's story

（1）find_all() 。

find_all，顾名思义，就是查询所有符合条件的元素。给它传入一些属性或文本，就可以得到符合条件的元素，它的功能十分强大.

find_all(name , attrs , recursive , text , **kwargs) 。

他的用法:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
html='''
< div class = "panel" >
   < div class = "panel-heading" >
     < h4 >Hello</ h4 >
   </ div >
   < div class = "panel-body" >
     < ul class = "list" id = "list-1" >
       < li class = "element" >Foo</ li >
       < li class = "element" >Bar</ li >
       < li class = "element" >Jay</ li >
     </ ul >
     < ul class = "list list-small" id = "list-2" >
       < li class = "element" >Foo</ li >
       < li class = "element" >Bar</ li >
     </ ul >
   </ div >
</ div >
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('查询所有ul节点，返回结果是列表类型，长度为2:\n',soup.find_all(name='ul'))
print('每个元素依然都是bs4.element.Tag类型:\n',type(soup.find_all(name='ul')[0]))
#将以上步骤换一种方式，遍历出来
for ul in soup.find_all(name='ul'):
   print('输出每个u1:',ul.find_all(name='li'))
#遍历两层
for ul in soup.find_all(name='ul'):
   print('输出每个u1:',ul.find_all(name='li'))
   for li in ul.find_all(name='li'):
     print('输出每个元素：',li.string)

结果:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
查询所有ul节点，返回结果是列表类型，长度为2:
  [<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>, <ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>]
每个元素依然都是bs4.element.Tag类型:
  <class 'bs4.element.Tag'>
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
输出每个元素： Foo
输出每个元素： Bar
输出每个元素： Jay
输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
输出每个元素： Foo
输出每个元素： Bar

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我.

原文链接：https://www.cnblogs.com/xiao02fang/p/13269984.html 。

最后此篇关于面向新手解析python Beautiful Soup基本用法的文章就讲到这里了,如果你想了解更多关于面向新手解析python Beautiful Soup基本用法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

27 4 0
文章推荐： C语言中一些将字符串转换为数字的函数小结
文章推荐： 网站建设完成后为什么百度不收录网站
文章推荐： 什么样的网站建设内容适合现在的搜索引擎和用户
文章推荐： 对比分析C语言中的gcvt()和ecvt()以及fcvt()函数
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com