个人中心
gpt4 book ai didi

python爬取内容存入Excel实例

转载 作者：qq735679552 更新时间：2022-09-28 22:32:09 24 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章python爬取内容存入Excel实例由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

最近老师布置了个作业，爬取豆瓣top250的电影信息。按照套路，自然是先去看看源代码了，一看，基本的信息竟然都有，心想这可省事多了。简单分析了下源代码，标记出所需信息的所在标签，ok，开始干活！ 。

鉴于正则表达式的资料已经看了不少，所以本次除了beautifulsoup外，还有些re的使用，当然，比较简单。而爬到信息后，以往一般是存到txt文件，或者数据库中，老是重样的操作，难免有些‘厌倦'。心想，干嘛不存到excel表呢？对啊，可以存到excel表.

环境准备：pip install openpyxl  (假设你已配好了python环境) 。

好了，废话少说，上代码。   。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
# coding=utf-8
'''
  function:爬取豆瓣top250的电影信息，并写入excel文件
'''
import requests
import re
from openpyxl import workbook # 写入excel表所用
from openpyxl import load_workbook # 读取excel表所用
from bs4 import beautifulsoup as bs
import os
os.chdir( 'c:\users\administrator\desktop' ) # 更改工作目录为桌面
 
 
def gethtml(src):
  html = requests.get(src).content
  getdata(html, src) # 首页链接和其他页不同，所以单独获取信息
  urls = re.findall( 'href="(.*filter=?)' , html) # re获取获取跳转链接的href
  for u in range ( len (urls) - 2 ): # 匹配到的跳转链接最后两个重复，需去掉
   next_url = 'https://movie.douban.com/top250' + urls[u]
   html = requests.get(next_url).content
   getdata(html, next_url)
 
 
def getdata(html, num_url): # html:网页源码 ，num_url:页面链接
  global ws # 全局工作表对象
  name = [] # 存储电影名
  dr = [] # 存储导演信息
  ma = [] # 存储主演信息
  si = [] # 存储简介
  r_score = [] # 存储评分
  r_count = [] # 存储评论人数
  r_year = [] # 存储年份
  r_area = [] # 存储地区
  r_about = [] # 存储剧情类型
  soup = bs(html, 'lxml' )
  for n in soup.find_all( 'div' , class_ = 'hd' ):
   # ts = n.contents[1].text # 得到电影的所有名称
   ts = n.contents[ 1 ].text.strip().split( '/' )[ 0 ] # 得到电影中文名
   name.append(ts)
  for p in soup.find_all( 'p' , class_ = ''):
   infor = p.text.strip().encode( 'utf-8' ) #此处用utf-8编码，以免下面查找 ‘主演'下标报错
   ya = re.findall( '[0-9]+.*\/?' , infor)[ 0 ] # re得到年份和地区
   r_year.append(ya.split( '/' )[ 0 ]) # 得到年份
   r_area.append(ya.split( '/' )[ 1 ]) # 得到地区
   r_about.append(infor[infor.rindex( '/' ) + 1 :]) # rindex函数取最后一个/下标，得到剧情类型
   try :
    sub = infor.index( '主演' ) # 取得主演下标
    dr.append(infor[ 0 :sub].split( ':' )[ 1 ]) # 得到导演信息
    mh = infor[sub:].split( ':' )[ 1 ] # 得到主演后面的信息
    ma.append(re.split( '[1-2]+' , mh)[ 0 ]) # 正则切片得到主演信息
   except :
    print '无主演信息'
    dr.append(infor.split( ':' )[ 1 ].split( '/' )[ 0 ])
    ma.append( '无介绍...' )
  for r in soup.find_all( 'div' , class_ = 'star' ):
   rs = r.contents # 得到该div的子节点列表
   r_score.append(rs[ 3 ].text) # 得到评分
   r_count.append(rs[ 7 ].text) # 得到评论人数
  for s in soup.find_all( 'span' , 'inq' ):
   si.append(s.text) # 得到简介
  if len (si) < 25 :
   for k in range ( 25 - len (si)):
    si.append( '本页有的电影没简介，建议查看核对，链接:' + num_url)
 
  for i in range ( 25 ): # 每页25条数据,写入工作表中
   ws.append([name[i], r_year[i], r_area[i], r_about[i],
      dr[i], ma[i], r_score[i], r_count[i], si[i]])
 
 
if __name__ = = '__main__' :
  # 读取存在的excel表测试
  #  wb = load_workbook('test.xlsx') #加载存在的excel表
  #  a_sheet = wb.get_sheet_by_name('sheet1') #根据表名获取表对象
  #  for row in a_sheet.rows: #遍历输出行数据
  #   for cell in row: #每行的每一个单元格
  #    print cell.value,
 
  # 创建excel表并写入数据
  wb = workbook.workbook() # 创建excel对象
  ws = wb.active # 获取当前正在操作的表对象
  # 往表中写入标题行,以列表形式写入！
  ws.append([ '电影名' , '年份' , '地区' , '剧情类型' , '导演' , '主演' , '评分' , '评论人数' , '简介' ])
  src = 'https://movie.douban.com/top250'
  gethtml(src)
  wb.save( 'test2.xlsx' ) # 存入所有信息后，保存为filename.xlsx

代码中已有不少注释，这里说下爬取过程中遇到的小问题.

1.soup的contents方法，返回的是某标签下的子节点列表，但刚开始总是取不到想要的值，输出其长度后，有些傻眼..tm什么情况？有这么多的子节点吗？较真的我又去数了几遍，最后发现，它竟然连"换行"都算作是子节点！莫名地有点方...不知各位有没有遇到过.

python爬取内容存入Excel实例

如图，我按列表下标标记，0,2,4,6,8是换行，但也被算作子节点... 。

2.还是contents方法，代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外，还有其下的span标签，这是为何？它们算一个整体?

python爬取内容存入Excel实例

3.对如下图的电影信息处理时，出现了几处错误，原因有以下几点:

(1)部分电影没有主演信息... 。

(2)主演信息为这样'主演: '，就一个主演字样，无内容 。

(3)部分电影没有简介 。

(4)当主演信息中没有'...'时，获取主演信息受阻 。

 解决方案:(1)(2)都是主演问题，判断是否存在即可。（我以捕获异常处理） 。

(3)是简介问题，我无法给出具体哪部电影没有简介，但给了该电影所在的页面链接，可访问核查。（貌似有点笨） 。

(4)获取受阻是因为后面没有精确定位点，最后以re.split('[1-2]+')方法解决，匹配年份第一位作为分片点 。

python爬取内容存入Excel实例

本次分享就到这儿了，最后，照旧放几张结果图吧.

python爬取内容存入Excel实例

python爬取内容存入Excel实例

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我.

原文链接：https://blog.csdn.net/Dick633/article/details/79933772 。

最后此篇关于python爬取内容存入Excel实例的文章就讲到这里了,如果你想了解更多关于python爬取内容存入Excel实例的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

24 4 0
文章推荐： 浅谈MySQL 亿级数据分页的优化
文章推荐： C#微信公众平台开发之高级群发接口
文章推荐： 解析MySQL binlog
文章推荐： C#微信公众平台开发之access_token的获取存储与更新
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com