Python如何利用正则表达式爬取网页信息及图片-6ren

Python如何利用正则表达式爬取网页信息及图片

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python如何利用正则表达式爬取网页信息及图片由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

1、正则表达式是什么?

概念

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑.

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配.

个人理解

简单来说就是使用正则表达式来写一个过滤器来过滤了掉杂乱的无用的信息(eg:网页源代码…)从中来获取自己想要的内容。

2、实战项目

1.爬取内容。

获取上海所有三甲医院的名称并保存到.txt文件中。

2.访问链接。

上海三甲医院网站 link：https://yyk.99.com.cn/sanjia/shanghai/ 。

3.正则表达式书写的灵感。

进入网站查看本页面的源代码发现：医院的名称都是放在一个。

 
    ? 
   
         <div  
         class 
         = 
         "province-box" 
         > ...... < 
         / 
         div>

盒子里我们只需要直接把这个盒子里面的数据过滤一下就行。

正则表达式

法一

1.一级过滤 : 。

<div class="province-box">(.*)<div class="wrap-right"> 。

开头是:<div class="province-box"> (.*) 结尾是:<div class="wrap-right"> 。

2.二级过滤

title="(.*[院心部]）*)" 获取title=" " 里面的信息。

法二

优化后一次性过滤

<li><a href="/[^/].*/" rel="external nofollow" rel="external nofollow" target="_blank" src="/uploads/allimg/211013/1449225262-0.png" /> 。

结尾是

Python如何利用正则表达式爬取网页信息及图片

4.项目源代码。

 
         import 
         requests 
        
         import 
         re 
        
         url  
         = 
         "https://yyk.99.com.cn/sanjia/shanghai/" 
        
         # 模拟浏览器的访问 
        
         headers  
         = 
         { 
         'user-agent' 
         :  
         'mozilla/5.0 (windows nt 10.0; win64; x64; rv:87.0) ' 
        
         'gecko/20100101 firefox/87.0' 
         } 
        
         res  
         = 
         requests.get(url,headers 
         = 
         headers) 
        
         if 
         res.status_code  
         = 
         = 
         200 
         : 
        
         #1.获取网页源代码 
        
         raw_text  
         = 
         res.text 
        
         #2.正则表达式书写: 
        
         #2.2注意:正则表达式默认匹配的是一行  我们的源代码是多行匹配的要加另一个参数 re.dotall 
        
         #2.3正则法一: 
        
         #re.findall() 返回的是lsit集合 一次过滤 
        
         re_res  
         = 
         re.findall(r 
         '<div class="province-box">(.*)<div class="wrap-right">' 
         , raw_text,re.dotall) 
        
         #re_res[0] 获取下标是的数据    二次过滤 
        
         res 
         = 
         re.findall(r 
         'title="(.*[院心部]）*)"' 
         ,re_res[ 
         0 
         ]) 
        
         #检查打印获取到的信息 
        
         print 
         (res) 
        
         #2.4正则法二: 
        
         #(优化)不用二次过滤 一次过滤就解决了 
        
         # re_list = re.findall(r'<li><a href="/[^/].*/" rel="external nofollow"  rel="external nofollow"  target="_blank" src="/uploads/allimg/211013/14492222R-2.jpg" />
部分结果
 
 python 正则表达式-提取图片地址 
              ? 
             
                   import 
                   os,sys,time,json,time 
                  
                   import 
                   socket,random,hashlib 
                  
                   import 
                   requests,configparser 
                  
                   import 
                   json,re 
                  
                   from 
                   datetime  
                   import 
                   datetime 
                  
                   from 
                   multiprocessing.dummy  
                   import 
                   pool as threadpool 
                  
                   def 
                   getpicurl(url): 
                  
                   url  
                   = 
                   "http://www.mzitu.com/zipai/comment-page-352" 
                  
                   html  
                   = 
                   requests.get(url).text 
                  
                   pic_url  
                   = 
                   re.findall( 
                   'img src="(.*?)"' 
                   ,html,re.s) 
                  
                   for 
                   key  
                   in 
                   pic_url: 
                  
                   print 
                   (key  
                   + 
                   "\r\n" 
                   ) 
                  
                   #print(pic_url) 
                  
                   getpicurl( 
                   "http://www.mzitu.com/zipai/comment-pag.e-352" 
                   ) 
                  
输出结果:
python mmm.py http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsvu6578k1j20sg15nk4x.jpg 。
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu64q4lgj20j60nz0ua.jpg 。
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu67hhbaj20sg110toc.jpg 。
http://wx2.sinaimg.cn/mw1024/9d52c073gy1fsvu66bw56j20sg0zjtlr.jpg 。
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu65vvvtj20sg0mmtfc.jpg 。
http://wx2.sinaimg.cn/mw1024/9d52c073gy1fsvu66gtnzj20sg0zk48h.jpg 。
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu65q1qyj20sg11vtmo.jpg 。
http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsvu64wgejj20e60iwtax.jpg 。
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu66a8xfj20lt0rptgw.jpg 。
http://wx4.sinaimg.cn/mw1024/9d52c073gy1fsnr6n7n66j20k00ozn52.jpg 。
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsnr6njhjyj20sg0zkn88.jpg 。
http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsnr6n2zmyj20sg0ldten.jpg 。
 总结到此这篇关于python如何利用正则表达式爬取网页信息及图片的文章就介绍到这了,更多相关python正则表达式爬取内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。
原文链接：https://blog.csdn.net/Jun_Jun_0/article/details/115702833 。

 
         
          
           
          正则表达式 
          Python 
          爬取 
          
          
           
          
         
         
          
          延伸 · 阅读 
          
          
          2021-10-13python中sys模块的介绍与实例 
          2021-10-13Python中os模块的简单使用及重命名操作 
          2021-10-13Python利器openpyxl之操作excel表格 
          2021-10-13用Python简陋模拟n阶魔方 
          2021-10-13Python OpenCV快速入门教程 
          2021-10-13python小程序之飘落的银杏 
          
         
         
         
         
          
           
          
         
         
         
           精彩推荐 
          
         
         
          
           
            
           
          Python 
            
            Python 隐藏输入密码时屏幕回显的实例 
            今天小编就为大家分享一篇Python 隐藏输入密码时屏幕回显的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧... 。 
             
             PlatoWG 
             1073 
             2021-05-30 
             
           
  
          Python 
            
            Django实现登录随机验证码的示例代码 
            登录验证码是每个网站登录时的基本标配，这篇文章主要介绍了Django实现登录随机验证码的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个... 。 
             
             金角大王 
             557 
             2021-03-07 
             
           
  
          Python 
            
            Python计算矩阵的和积的实例详解 
            在本篇内容里小编给大家整理的是关于Python计算矩阵的和积的实例详解内容，需要的朋友们参考下。... 。 
             
             爱喝马黛茶的安东尼 
             615 
             2020-09-11 
             
           
  
          Python 
            
            用Python下载一个网页保存为本地的HTML文件实例 
            今天小编就为大家分享一篇用Python下载一个网页保存为本地的HTML文件实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧... 。 
             
             麦克斯韦的妖精 
             1203 
             2021-02-22 
             
           
  
          Python 
            
            Python查找算法之插补查找算法的实现 
            这篇文章主要介绍了Python查找算法之插补查找算法的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋... 。 
             
             Amo Xiang 
             488 
             2021-10-07 
             
           
  
          Python 
            
            python语言是免费还是收费的？ 
            在本篇文章里小编给大家分享的是关于python语言是否免费的相关知识点，需要的朋友们可以学习下。... 。 
             
             silencement 
             891 
             2020-06-15 
             
           
  
          Python 
            
            python快速安装OpenCV的步骤记录 
            这篇文章主要给大家介绍了关于python快速安装OpenCV的相关资料，文中通过图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋... 。 
             
             迎着黎明那道光 
             1207 
             2021-09-07 
             
           
  
          Python 
            
            Python运算符重载用法实例 
            这篇文章主要介绍了Python运算符重载用法,实例分析了Python运算符重载实现加法运算的技巧,需要的朋友可以参考下... 。 
             
             imzoer 
             491 
             2020-07-09 
             
           
  
          
         
         
          
           
          
          
           
           最近更新 
           
           
            
            python3 实现mysql数据库连接池的示例代码 
            Python如何利用正则表达式爬取网页信息及图片 
            python中sys模块的介绍与实例 
            Python中os模块的简单使用及重命名操作 
            Python利器openpyxl之操作excel表格 
            
           
          
          
           
          
          
           
           编辑推荐 
           
           
            
             
              
               
               
               PyCharm设置SSH远程调试的方法 
               
              
            2 
              
              Python安装图文教程 Pycharm安装教程 
              2021-01-25 
              
            3 
              
              python是什么意思？python有什么用？ 
              2020-04-03 
              
            4 
              
              使用Python抓取模板之家的CSS模板 
              2019-12-07 
              
            5 
              
              Python 列表(List)操作方法详解 
              2019-11-22 
              
            
           
          
          
           
          
          
           
           阅读排行 
           
           
            
            1 2020最新pycharm汉化安装（python工程狮亲测有效 
            2 Pycharm 2020最新永久激活码（附最新激活码和插 
            3 python高手之路python处理excel文件(方法汇总) 
            4 Python sklearn中的.fit与.predict的用法说明 
            5 Python爬虫中Requests设置请求头Headers的方法 
            6 python保留小数位的三种实现方法 
            7 pycharm激活码有效到2020年11月底 
            8 Python中读取图片的6种方式 
            9 使用Python判断质数(素数)的简单方法讲解 
            10 学python对电脑配置有要求么 
            
           
          
          
           
          
          
           
           热门标签 
           
           
           
             2048 　 contextlib 　 SLOTS 　 MELIAE 　 FEEDPARSER 　 暂存 　 持久性管理 　 pickle模块 　 THREADING 　 reduce 　 nignx 　 装饰器 　 函数式编程 　 兔子毒药 　 监控文件 　 流量监控 　 动态解析域名 　 teardown 　 Web框架 　 自定义编码 　 PIL库 　 高斯模糊 　 wxPython 　 import 　 自定义模块 　 Python开发 　 元类 　 metaclass 　 魔术方法 　 DNSPod 　 
            
           
          
          
           
          
         
         
         
          
          © 2019-2021 脚本之家 | 我(www.zzvips.com)旗下站点 版权所有 
          关于我们联系我们版权申明网站地图

最后此篇关于Python如何利用正则表达式爬取网页信息及图片的文章就讲到这里了,如果你想了解更多关于Python如何利用正则表达式爬取网页信息及图片的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐：一篇文章带你了解kali局域网攻击

文章推荐：用 Python 轻松实现机器学习

文章推荐： Python的Matplotlib库图像复现学习

文章推荐： python中sys模块的介绍与实例

javascript - 获取数据:图片/png；base64，{{图片}} net::ERR_INVALID_URL
我想使用 Angular.js 转换从服务器获取的图像数据(用于 ionic 框架)，我使用了这段代码: $http.post(link, { token: token,
javascript - IOS设备隐藏 "Play Store"图片，Android设备隐藏 "App Store"图片
我正在为我的应用制作一个登陆页面。如果它们在 iOS 设备上，我希望它只显示“App Store”图标，但在 Android 上隐藏它。如果它们在 Android 设备上，则只有“Play Store
JavaScript 图片
如何在同一页面上多次显示同一张图片？ function xdf(){ for (i=0;ihello world'); } } 此代码显示“hello world”10 次。我想要同样的东西，
css 图片
您好，我有一个 1px 的 png 文件，我试图将其设置为两个水平相邻的 div 的背景图像。html 和 css 如下:- hi hello css是这样的 div { width: 50%
image - PrestaShop 图片
我的 PHP 项目安装了 Prestashop 1.4.9.0。当我添加一个新产品时，我上传了一个PNG格式的图片，但是当它在客户端显示时，图片是JPG格式的。如何保留图片扩展名？最佳答案在后台
r - 发送表达式给网站返回动态结果(图片)
我用 http://www.regexper.com查看一个象形表示正则表达式很多。我想要一种理想的方法: 向站点发送正则表达式打开显示该表达式的站点例如，让我们使用正则表达式:"\\s*foo[
电子邮件问题中的 Phpmailer 图片
我不知道为什么在 MAC OS X (Mail 6.2) 的邮件客户端中图像显示如下: 和其他邮件客户端，如 gmail、outlook 或 private，图像是正确的，看起来像这样: PHP邮件程
javascript - 使用XPCOM上传网页文件/图片
我正在使用此处找到的示例。 Mozilla developers 我对这个例子很感兴趣。 function upload(postUrl, fieldName, filePath) { var f
电子邮件问题中的 Phpmailer 图片
我不知道为什么在 MAC OS X (Mail 6.2) 的邮件客户端中图像显示如下: 和其他邮件客户端，如 gmail、outlook 或 private，图像是正确的，看起来像这样: PHP邮件程
java - 如何根据javafx中的复选框选择生成按钮(图片)
我的问题是如何根据用户在javafx中选择的复选框和/或单选按钮生成带有汽车图片设置的按钮？我正在用汽车图片模拟汽车经销商网站。用户应该能够通过单击复选框和/或单选按钮选择来过滤显示的图片。我首先
java - 开发支持多语言的java客户端时优化jar文件大小(图片)
我正在开发Java客户端，它应该支持多种语言。为了翻译文本，我使用 Java ResourceBoundle，它工作正常。现在问题出在图像上。客户端应加载大约 50 张图像，这些图像是棋盘游戏的特定
jquery 褪色图片
我对 jQuery 还很陌生，但我正在寻找一个简单的脚本，通过淡入和淡出的方式在标题中循环 3 或 4 个背景图像。它们是透明的 png，因此我尝试过的许多 slider 都不起作用。有什么想法吗？
jQuery:选择器问题(图片)
我有一个 HTML 文档，其中包含本地文件的图像，例如: ios - 物理主体大于它分配给的纹理(图片)
我的 Sprite “physicsBody ”属性之一出现问题。我已经放置了physicsBody节点“barn ”，直接位于 non-physicsBody 之上节点“mound”没有任何问题。
c# - 获取图像的特定部分(图片)
我想剪切图片的特定部分并用它来将剪切的图像与存储在 HDD 中的另一个图像进行比较。问题是我不知道如何获取源图像的特定部分。我知道要裁剪的图像的位置 (X,Y)。最佳答案这将加载原始版本并创建
Javascript 图片 uploader
如何使用裁剪实用程序在 javascript 中实现图像 uploader 。你如何通过 AJAX 提交图像文件？解决方案是否跨域兼容？最佳答案要实现具有裁剪功能的图片上传小部件，您必须: 将图像
来自图库方向的 Android 图片
public void onActivityResult(int requestCode, int resultCode, Intent data) { super.onActivityRes
java - 一个国家的可点击浮雕(图片)
我想在我的 android 应用程序中显示一个国家的图片。国家必须按地区划分。因此，当用户单击特定区域时，应打开特定屏幕。区域也应该用线分隔，以便用户可以看到区域的开始/结束位置。这是一个国家的例子
php - 在php中上传文件时发生错误(图片)
首先我想对这个问题表示歉意，因为我知道已经有很多人问过这个问题了。但我搜索的所有答案都没有解决我的问题。所以希望您考虑这个问题并帮助我解决这个问题。所以基本上我正在尝试上传图像文件，当我提交它时，会
MySQL:查询结果[图片]
我几乎有了想要的数据...但需要帮助过滤它。 (图在底部) 下面的查询返回状态为 Member-id5 的所有记录，但我需要对其进行过滤。例如:如果我对等做了一个简单的查询。 (exp_channel

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城