Python的爬虫框架scrapy用21行代码写一个爬虫-6ren

Python的爬虫框架scrapy用21行代码写一个爬虫

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python的爬虫框架scrapy用21行代码写一个爬虫由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

开发说明。

开发环境:Pycharm 2017.1(目前最新) 。

开发框架:Scrapy 1.3.3(目前最新) 。

目标。

爬取线报网站,并把内容保存到items.json里。

页面分析。

Python的爬虫框架scrapy用21行代码写一个爬虫

根据上图我们可以发现内容都在类为post这个div里。

下面放出post的代码。

 
    ? 
   
 
     
       
       
         < 
         div 
         class 
         = 
         "post" 
         > 
        
 
         <!-- baidu_tc block_begin: {"action": "DELETE"} --> 
        
 
         < 
         div 
         class 
         = 
         "date" 
         >< 
         span 
         >04月</ 
         span 
         >< 
         span 
         class 
         = 
         "f" 
         >07日</ 
         span 
         ></ 
         div 
         > 
         <!-- baidu_tc block_end --> 
        
 
         < 
         h2 
         >< 
         a 
         href 
         = 
         "http://www.abckg.com/193.html" 
         rel 
         = 
         "external nofollow" 
         title 
         = 
         "4月7日 淘金币淘里程领取京东签到" 
         rel 
         = 
         "bookmark" 
         target 
         = 
         "_blank" 
         >4月7日 淘金币淘里程领取京东签到</ 
         a 
         >< 
         span 
         >已结束</ 
         span 
         ></ 
         h2 
         > 
        
 
         < 
         h6 
         >发布日期: 2017-04-07 | 分类: < 
         a 
         href 
         = 
         "http://www.abckg.com/xunibi" 
         rel 
         = 
         "external nofollow" 
         >虚拟币</ 
         a 
         > | 浏览:125177 
        
 
         </ 
         h6 
         >< 
         div 
         class 
         = 
         "intro" 
         >< 
         p 
         >淘金币一键领取 http://021.tw/t/ https://www.chaidu.com/App/Web/Taobao-Coin/ 【电脑端30金币】 https://taojinbi.taobao.com/inde ... auto_take=true 【手机端30金币】 http://h5.m.taobao...</ 
         p 
         ></ 
         div 
         ></ 
         div 
         > 
        
 
     
 
   

实现方法。

1、定义items 。

 
    ? 
   
         class 
         DemoItem(scrapy.Item): 
        
         id 
         = 
         scrapy.Field() 
        
         title  
         = 
         scrapy.Field() 
        
         href  
         = 
         scrapy.Field() 
        
         content  
         = 
         scrapy.Field()

2、新建一个爬虫名为test 。

 
    ? 
   
         # -*- coding: utf-8 -*- 
        
         import 
         scrapy 
        
         from 
         demo.items  
         import 
         DemoItem 
        
         from 
         scrapy.http  
         import 
         Request 
        
         class 
         TestSpider(scrapy.Spider): 
        
         #定义爬虫的名字和需要爬取的网址 
        
         name  
         = 
         "test" 
        
         allowed_domains  
         = 
         [ 
         "www.abckg.com" 
         ] 
        
         start_urls  
         = 
         [ 
         'http://www.abckg.com/' 
         ] 
        
         def 
         parse( 
         self 
         , response): 
        
         for 
         resp  
         in 
         response.css( 
         '.post' 
         ): 
        
         #实例化item 
        
         item  
         = 
         DemoItem() 
        
         #把获取到的内容保存到item内 
        
         item[ 
         'href' 
         ]  
         = 
         resp.css( 
         'h2 a::attr(href)' 
         ).extract() 
        
         item[ 
         'title' 
         ]  
         = 
         resp.css( 
         'h2 a::text' 
         ).extract() 
        
         item[ 
         'content' 
         ]  
         = 
         resp.css( 
         '.intro p::text' 
         ).extract() 
        
         yield 
         item 
        
         #下面是多页面的爬取方法 
        
         urls  
         = 
         response.css( 
         '.pageinfo a::attr(href)' 
         ).extract() 
        
         for 
         url  
         in 
         urls: 
        
         yield 
         Request(url, callback 
         = 
         self 
         .parse) 
        
         categorys  
         = 
         response.css( 
         '.menu li a::attr(href)' 
         ).extract() 
        
         for 
         ct  
         in 
         categorys: 
        
         yield 
         Request(ct, callback 
         = 
         self 
         .parse)

3、修改settings.py,添加以下代码。

 
    ? 
   
         FEED_EXPORT_ENCODING  
         = 
         'utf-8'

#运行。

打开cmd输入。

 
    ? 
   
         scrapy crawl  
         test 
         -o items.json

Python的爬虫框架scrapy用21行代码写一个爬虫

已知bug 。

如果多次运行该爬虫,不会覆盖原有的内容,而是追加数据(好像是scrapy的bug) 。

可拓展内容。

1、定时运行爬虫,当检查到网站更新时获取新数据并发邮件通知。

2、检测数据是否重复。

总结。

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者使用python能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对我的支持.

原文链接：http://lx.nextdev.cn/Python-scrapy-write-a-crawler.html 。

最后此篇关于Python的爬虫框架scrapy用21行代码写一个爬虫的文章就讲到这里了,如果你想了解更多关于Python的爬虫框架scrapy用21行代码写一个爬虫的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Python正则抓取新闻标题和链接的方法示例

文章推荐： mongodb数据库实验之增删查改

文章推荐： Oracle数据泵的导入与导出实例详解

文章推荐： Java String、StringBuffer与StringBuilder的区别

scrapy - 如何在 scrapy Shell 中使用 scrapy 中间件？
在一个 scrapy 项目中，人们经常使用中间件。在交互式 session 期间是否也有一种通用方法可以在 scrapy shell 中启用中间件？最佳答案尽管如此，在 setting.py 中设
scrapy - scrapy-splash如何处理无限滚动？
我想对网页中向下滚动生成的内容进行反向工程。问题出在url https://www.crowdfunder.com/user/following_page/80159?user_id=80159&li
scrapy - 相对URL到绝对URL Scrapy
我需要帮助将相对URL转换为Scrapy Spider中的绝对URL。我需要将起始页面上的链接转换为绝对URL，以获取起始页面上已草稿的项目的图像。我尝试使用不同的方法来实现此目标失败，但是我陷入了
scrapy - Python Scrapy 错误。不再支持使用多个蜘蛛运行 'scrapy crawl'
我在 Scrapy Python 中制作了一个脚本，它在几个月内一直运行良好(没有更改)。最近，当我在 Windows Powershell 中执行脚本时，它引发了下一个错误: scrapy craw
scrapy - 飞溅内存限制(scrapy)
我已经从 docker 启动了 splash。我为 splash 和 scrapy 创建了大的 lua 脚本，然后它运行我看到了问题: Lua error: error in __gc metamet
scrapy - 让 Scrapy 从上一个断点继续爬行
我正在使用scrapy 来抓取网站，但发生了不好的事情(断电等)。我想知道我怎样才能从它坏了的地方继续爬行。我不想从种子开始。最佳答案这可以通过将预定的请求持久化到磁盘来完成。 scrapy c
scrapy - Scrapy 暂停/恢复如何工作？
有人可以向我解释一下 Scrapy 中的暂停/恢复功能是如何实现的吗？作品？ scrapy的版本我正在使用的是 0.24.5 documentation没有提供太多细节。我有以下简单的蜘蛛: cla
scrapy - Apscheduler+scrapy 信号仅适用于主线程
我想将 apscheduler 与 scrapy.but 我的代码是错误的。我应该如何修改它？ settings = get_project_settings() configure_logging
scrapy - 为什么 Scrapy 很慢？
我正在抓取一个网站并解析一些内容和图像，但即使对于 100 页左右的简单网站，完成这项工作也需要数小时。我正在使用以下设置。任何帮助将不胜感激。我已经看过这个问题- Scrapy 's Scrapyd
scrapy - 为什么 Scrapy 很慢？
我正在抓取一个网站并解析一些内容和图像，但即使对于 100 页左右的简单网站，完成这项工作也需要数小时。我正在使用以下设置。任何帮助将不胜感激。我已经看过这个问题- Scrapy 's Scrapyd
scrapy - 使用 Scrapy 增量爬取网站
我是爬行新手，想知道是否可以使用 Scrapy 逐步爬行网站，例如 CNBC.com？例如，如果今天我从一个站点抓取所有页面，那么从明天开始我只想收集新发布到该站点的页面，以避免抓取所有旧页面。感谢
scrapy - 如何使用 Scrapy 下载图片？
我是scrapy的新手。我正在尝试从 here 下载图像.我在关注 Official-Doc和 this article . 我的 settings.py 看起来像: BOT_NAME = 'shop
python - Scrapy:已抓取 0 页(可在 scrapy shell 中使用，但不适用于 scrapy crawl spider 命令)
我在使用 scrapy 时遇到了一些问题。它没有返回任何结果。我试图将以下蜘蛛复制并粘贴到 scrapy shell 中，它确实有效。真的不确定问题出在哪里，但是当我用“scrapy crawl rx
scrapy - 使用 Scrapy 抓取多个 URL
如何使用 Scrapy 抓取多个 URL？我是否被迫制作多个爬虫？ class TravelSpider(BaseSpider): name = "speedy" allowed_d
scrapy - 如何确保 scrapy-splash 已成功渲染整个页面
当我使用splash渲染整个目标页面来爬取整个网站时出现问题。某些页面不是随机成功的，所以我错误地获取了支持渲染工作完成后出现的信息。这意味着我尽管我可以从其他渲染结果中获取全部信息，但仅从渲染结果中
scrapy - 使用 Scrapy 抓取多个 URL
如何使用 Scrapy 抓取多个 URL？我是否被迫制作多个爬虫？ class TravelSpider(BaseSpider): name = "speedy" allowed_d
scrapy - 如何将所有 CPU 内核用于 Scrapy
我的scrapy程序无论如何只使用一个CPU内核CONCURRENT_REQUESTS我做。 scrapy中的某些方法是否可以在一个scrapy爬虫中使用所有cpu核心？ ps:好像有争论max_pr
python - Scrapy - 动态等待页面加载 - selenium + scrapy
我最近用 python 和 Selenium 做了一个网络爬虫，我发现它做起来非常简单。该页面使用 ajax 调用来加载数据，最初我等待固定的 time_out 来加载页面。这工作了一段时间。之后，我
python - Scrapy:scrapy server需要一个项目，为什么？
我想用这个命令运行 scrapy 服务器: scrapy server 它失败了，因为没有项目。然后我创建一个空项目来运行服务器，并成功部署另一个项目。但是，scrapy 服务器无法处理这个项目，并告
python - Scrapy - 在一个 scrapy 脚本中抓取不同的网页
我正在创建一个网络应用程序，用于从不同网站抓取一长串鞋子。这是我的两个单独的 scrapy 脚本: http://store.nike.com/us/en_us/pw/mens-clearance-s

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

Python的爬虫框架scrapy用21行代码写一个爬虫