个人中心
gpt4 book ai didi

Python爬虫之网页图片抓取的方法

转载 作者：qq735679552 更新时间：2022-09-27 22:32:09 32 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python爬虫之网页图片抓取的方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

1、引入 。

这段时间一直在学习Python的东西，以前就听说Python爬虫多厉害，正好现在学到这里，跟着小甲鱼的Python视频写了一个爬虫程序，能实现简单的网页图片下载.

2、代码 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
__author__ = "JentZhang"
import urllib.request
import os
import random
import re
def url_open(url):
   '''
   打开网页
   :param url:
   :return:
   '''
   req = urllib.request.Request(url)
   req.add_header( 'User-Agent' ,
           'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36' )
   # 应用代理
   '''
   proxyies = ["111.155.116.237:8123","101.236.23.202:8866","122.114.31.177:808"]
   proxy = random.choice(proxyies)
   proxy_support = urllib.request.ProxyHandler({"http": proxy})
   opener = urllib.request.build_opener(proxy_support)
   urllib.request.install_opener(opener)
   '''
   response = urllib.request.urlopen(url)
   html = response.read()
   return html
def save_img(folder, img_addrs):
   '''
   保存图片
   :param folder: 要保存的文件夹
   :param img_addrs: 图片地址（列表）
   :return:
   '''
   # 创建文件夹用来存放图片
   if not os.path.exists(folder):
     os.mkdir(folder)
   os.chdir(folder)
   for each in img_addrs:
     filename = each.split( '/' )[ - 1 ]
     try :
       with open (filename, 'wb' ) as f:
         img = url_open( "http:" + each)
         f.write(img)
     except urllib.error.HTTPError as e:
       # print(e.reason)
       pass
   print ( '完毕！' )
def find_imgs(url):
   '''
   获取全部的图片链接
   :param url: 连接地址
   :return: 图片地址的列表
   '''
   html = url_open(url).decode( "utf-8" )
   img_addrs = re.findall(r 'src="(.+?\.gif)' , html)
   return img_addrs
def get_page(url):
   '''
   获取当前一共有多少页的图片
   :param url: 网页地址
   :return:
   '''
   html = url_open(url).decode( 'utf-8' )
   a = html.find( "current-comment-page" ) + 23
   b = html.find( "]</span>" , a)
   return html[a:b]
def download_mm(url = "http://jandan.net/ooxx/" , folder = "OOXX" , pages = 1 ):
   '''
   主程序（下载图片）
   :param folder:默认存放的文件夹
   :param pages: 下载的页数
   :return:
   '''
   page_num = int (get_page(url))
   for i in range (pages):
     page_num - = i
     page_url = url + "page-" + str (page_num) + "#comments"
     img_addrs = find_imgs(page_url)
     save_img(folder, img_addrs)
if __name__ = = "__main__" :
   download_mm()

3、总结 。

由于代码中访问的网址已经运用了反爬虫的算法。所以已经爬不到想要的图片啦，so，就当是记了个爬虫的笔记吧。仅供学习参考[捂脸]。。。.

最后：我把jpg格式换成gif，还能爬到可怜的一张gif图:

Python爬虫之网页图片抓取的方法

第一张正是反爬虫机制的一个图片占位符，完全没有任何内容 。

总结 。

以上所述是小编给大家介绍的Python爬虫之网页图片抓取的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我网站的支持！ 。

原文链接：http://www.cnblogs.com/JentZhang/p/9317999.html 。

最后此篇关于Python爬虫之网页图片抓取的方法的文章就讲到这里了,如果你想了解更多关于Python爬虫之网页图片抓取的方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

32 4 0
文章推荐： 详解基于django实现的webssh简单例子
文章推荐： 在Django框架中编写Contact表单的教程
文章推荐： python编辑用户登入界面的实现代码
文章推荐： python 反向输出字符串的方法
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com