Python3.4编程实现简单抓取爬虫功能示例-6ren

Python3.4编程实现简单抓取爬虫功能示例

转载作者：qq735679552 更新时间：2022-09-28 22:32:09

25

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python3.4编程实现简单抓取爬虫功能示例由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

本文实例讲述了Python3.4编程实现简单抓取爬虫功能。分享给大家供大家参考，具体如下:

 
    ? 
   
         import 
         urllib.request 
        
         import 
         urllib.parse 
        
         import 
         re 
        
         import 
         urllib.request,urllib.parse,http.cookiejar 
        
         import 
         time 
        
         def 
         getHtml(url): 
        
         cj 
         = 
         http.cookiejar.CookieJar() 
        
         opener 
         = 
         urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) 
        
         opener.addheaders 
         = 
         [( 
         'User-Agent' 
         , 
         'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36' 
         ),( 
         'Cookie' 
         , 
         '4564564564564564565646540' 
         )] 
        
         urllib.request.install_opener(opener) 
        
         page  
         = 
         urllib.request.urlopen(url) 
        
         html  
         = 
         page.read() 
        
         return 
         html 
        
         #print ( html) 
        
         #html = getHtml("http://weibo.com/") 
        
         def 
         getimg(html): 
        
         html  
         = 
         html.decode( 
         'utf-8' 
         ) 
        
         reg 
         = 
         '"screen_name":"(.*?)"' 
        
         imgre  
         = 
         re. 
         compile 
         (reg) 
        
         src 
         = 
         re.findall(imgre,html) 
        
         return 
         src 
        
         #print ("",getimg(html)) 
        
         uid 
         = 
         [ 
         '2808675432' 
         , 
         '3888405676' 
         , 
         '2628551531' 
         , 
         '2808587400' 
         ] 
        
         for 
         a  
         in 
         list 
         (uid): 
        
         print 
         (getimg(getHtml( 
         "http://weibo.com/" 
         + 
         a))) 
        
         time.sleep( 
         1 
         )

希望本文所述对大家Python程序设计有所帮助.

原文链接：http://blog.csdn.net/macwhirr123/article/details/44623341 。

最后此篇关于Python3.4编程实现简单抓取爬虫功能示例的文章就讲到这里了,如果你想了解更多关于Python3.4编程实现简单抓取爬虫功能示例的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

25

4

0

文章推荐：正则表达式匹配闭合HTML标签(支持嵌套)

文章推荐： php模拟ping命令（php exec函数的使用方法）

文章推荐： JavaScript正则表达式迷你书之贪婪模式-学习笔记

文章推荐： python实现八大排序算法（1）

Java正则表达式，简单
我正在努力实现以下目标，假设我有字符串: ( z ) ( A ( z ) ( A ( z ) ( A ( z ) ( A ( z ) ( A ) ) ) ) ) 我想编写一个正则
CSS水平滚动(简单)
给定: 1 2 3 4 5 6
MySQL填充样例数据(简单)
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visit the help center . 关闭 1
简单、好懂的Svelte实现原理
大家好，我卡颂。 Svelte问世很久了，一直想写一篇好懂的原理分析文章，拖了这么久终于写了。本文会围绕一张流程图和两个Demo讲解，正确的食用方式是用电脑打开本文，跟着流程图、Demo一
Javascript使用正则验证身份证号(简单)
身份证为15位或者18位，15位的全为数字，18位的前17位为数字，最后一位为数字或者大写字母”X“。与之匹配的正则表达式： ?
强大的jquery插件jqeuryUI做网页对话框效果！简单
我们先来最简单的，网页的登录窗口；不过开始之前，大家先下载jquery的插件本人习惯用了vs2008来做网页了，先添加一个空白页这是最简单的的做法。。。先在body里面插入 <
简单、易用的MySQL官方压力测试工具
1、MySQL自带的压力测试工具 Mysqlslap mysqlslap是mysql自带的基准测试工具,该工具查询数据,语法简单,灵活容易使用.该工具可以模拟多个客户端同时并发的向服务器发出
.NET开源、简单、实用的数据库文档生成工具
前言今天大姚给大家分享一款.NET开源（MIT License）、免费、简单、实用的数据库文档（字典）生成工具，该工具支持CHM、Word、Excel、PDF、Html、XML、Markdown等
【Go基础入门教程】Go语言代码风格清晰、简单
Go语言语法类似于C语言，因此熟悉C语言及其派生语言（ C++、 C#、Objective-C 等）的人都会迅速熟悉这门语言。 C语言的有些语法会让代码可读性降低甚至发生歧义。Go语言在C语言的
FFMpeg 简单/快速转换视频文件不适用于任何视频
我正在使用快速将 mkv 转换为 mp4 ffmpeg 命令 ffmpeg -i test.mkv -vcodec copy -acodec copy new.mp4 但不适用于任何 mkv 文件，当
VBA 计算具有特定名称的工作表数(简单)
我想计算我的工作簿中的工作表数量，然后从总数中减去特定的工作表。我错过了什么？这给了我一个对象错误: wsCount = ThisWorkbook.Sheets.Count - ThisWorkboo
Perl 配置::简单
我有一个 perl 文件，用于查看文件夹中是否存在 ini。如果是，它会从中读取，如果不是，它会根据我为它制作的模板创建一个。我在 ini 部分使用 Config::Simple。我的问题是，如果
ios - 如何访问iOS通知中传递的数据(简单)？
尝试让一个 ViewController 通过标准 Cocoa 通知与另一个 ViewController 进行通信。编写了一个简单的测试用例。在我最初的 VC 中，我将以下内容添加到 viewDi
optimization - (简单？)折线图的标签放置
我正在绘制高程剖面图，显示沿路径的高程增益/损失，类似于下面的: Sample Elevation Profile with hand-placed labels http://img38.image
javascript - 使用JS隐藏div(简单)
嗨，所以我需要做的是最终让 regStart 和 regPage 根据点击事件交替可见性，我不太担心编写 JavaScript 函数，但我根本无法让我的 regPage 首先隐藏。这是我的代码。请简单
c++ - 简单 for 循环中的大量时间损失
我有一个非常简单的程序来测量一个函数花费了多少时间。 #include #include #include struct Foo { void addSample(uint64_t s)
JavaScript 简单 BitConverter
我需要为 JavaScript 制作简单的 C# BitConverter。我做了一个简单的BitConverter class BitConverter{ constructor(){} GetBy
javascript - 简单 for 循环出现意外标记错误？
已关闭。这个问题是 not reproducible or was caused by typos 。目前不接受答案。这个问题是由拼写错误或无法再重现的问题引起的。虽然类似的问题可能是 on-top
group-by - 简单.数据分组依据
我是 Simple.Data 的新手。但我很难找到如何进行“分组依据”。我想要的是非常基本的。表格看起来像: +________+ | cards | +________+ | id |
Javascript 简单 UDF
我现在正在开发一个 JS UDF，它看起来遵循编码。通常情况下，由于循环计数为 2，Alert Msg 会出现两次。我想要的是即使循环计数为 3，Alert Msg 也只会出现一次。任何想法都

首页

博学

6Ren·AI

商城

Python3.4编程实现简单抓取爬虫功能示例