个人中心
gpt4 book ai didi

python3使用scrapy生成csv文件代码示例

转载 作者：qq735679552 更新时间：2022-09-28 22:32:09 30 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章python3使用scrapy生成csv文件代码示例由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

去腾讯招聘网的信息，这个小项目有人做过，本着一个新手学习的目的，所以自己也来做着玩玩，大家可以参考一下.

这里使用的是调用cmdline命令来生成csv文件，而不是importcsv模块.

?
1
2
from scrapy import cmdline
cmdline.execute( "scrapy crawl field -o info.csv -t csv" .split())

这段代码我保存在一个自建的.py文件中，然后在主文件中调用这个模块，这样就不用每次在cmd中敲命令了，大家可以使用这种方法我觉得很方便的.

进入正题（获取腾讯招聘网的信息http://hr.tencent.com/position.php）:

python3使用scrapy生成csv文件代码示例

保存的csv文件内容:

python3使用scrapy生成csv文件代码示例

我们需要获取的数据首先应该使用scrapy的items容器记录下来:

?
1
2
3
4
5
6
7
8
import scrapy
 
class GetItem(scrapy.Item):
   name = scrapy.Field()    #招聘单位
   genre = scrapy.Field()   #招聘类型
   number = scrapy.Field()   #招聘人数
   place = scrapy.Field()   #招聘地点
   time = scrapy.Field()    #招聘时间

以上为我们等一下需要获取的信息 。

然后我们新建spider文件来编写爬去网站的代码:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
# _*_ coding:utf-8 _*_
import scrapy
from scrapy.http import Request
from time import sleep
import os
import sys
sys.path.append( "D:\PYscrapy\get_Field" ) #我使用这种路径添加的方式来调用GetItem函数和main函数
from get_Field.items import GetItem
import main  #main函数开头就说了两行调用程序的代码，你也可以在cmd中使用scrapy crawl field -o info.csv -t csv来调用。主要是方便
 
class Tencentzhaopin(scrapy.Spider):
   name = "field"  #这个程序要执行的唯一标识名 可以自己设置
   start_urls = [ "http://hr.tencent.com/position.php?&start=0#a" ] #首页网址
   url = "http://hr.tencent.com/" #由于有翻页操作所以我们设置翻页前缀，等一下获取后缀
   count = 0
   names = []    #这五个列表记录我们获取的信息
   genres = []
   numbers = []
   places = []
   times = []
   filename = "data.txt"  #保存的文件名
   if os.path.exists(filename) = = True :  #判断这个文件是否已经存在文件夹中，有就移除掉。
     os.remove(filename)
 
   def parse( self ,response):
     self .count + = 1 #设置我们需要爬去多少页，不设置的话会有几百页需要爬取
     name = response.xpath( '//table//td[@class="l square"]//a//text()' ).extract()
     #通过xpath方法获取我们需要的内容，再使用extract()抽取器获取到
     for i in name:    #利用循环将每一次的内容存入我们上面设置的列表中去，方便后面存入csv文件（下面4个类似）
       self .names.append(i)
     genre = response.xpath( '//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()' ).extract()
     for i in genre:
       self .genres.append(i)
     number = response.xpath( '//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()' ).extract()
     for i in number:
       self .numbers.append(i)
     place = response.xpath( '//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()' ).extract()
     for i in place:
       self .places.append(i)
     time = response.xpath( '//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()' ).extract()
     for i in time:
       self .times.append(i)
 
     new_url = response.xpath( '//*[@id="next"]//@href' ).extract()
     #前面我们说过需要翻页操作，所以这里是获取到翻页的后缀
     new_url = self .url + new_url[ 0 ] #再与前缀结合，获取到一个完整的下一页链接
     sleep( 0.5 ) #我们设置一个翻页的时间，太快了不好。。。。（我是这样想的）
 
     #下面就是信息存入items容器
     for i in range ( len ( self .genres)): #for循环列表的长度，获取到所有信息
       info = GetItem()  #实例一个类info用来保存数据
       info[ "name" ] = self .names[i]    #将每一个属性列表中的每一个数据保存依次保存到info中去
       info[ "genre" ] = self .genres[i]
       info[ "number" ] = self .numbers[i]
       info[ "place" ] = self .places[i]
       info[ "time" ] = self .times[i]
       yield info #这个yield注意了，嗯，这就很舒服了
       #我们将每一次保存的数据返回，但是返回了我们还需要程序继续执行，所以使用yield函数返回后继续执行
 
     if self .count< = 20 :
       yield Request(url = new_url,callback = self .parse)
       #如果满足20页以内，我们callback返回下一页的链接继续到parse这个默认函数，

以上是spider中的代码.

其实实现这个代码不难，唯一有一点小疑惑的地方可能就是第一个yield的使用，一开始我是使用调用一个新的函数，然后在里面实现值的返回，但是麻烦还有一点小问题，所以这里我们就是用这种简单的方式就行了，yield将每次循环的数据返回，返回后再继续执行循环.

总结 。

以上就是本文关于python3使用scrapy生成csv文件代码示例的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！ 。

原文链接：http://blog.csdn.net/qq_36523839/article/details/72730626#comments 。

最后此篇关于python3使用scrapy生成csv文件代码示例的文章就讲到这里了,如果你想了解更多关于python3使用scrapy生成csv文件代码示例的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

30 4 0
文章推荐： TIOBE 10月编程语言榜单出炉，Python越来越接近第二名
文章推荐： Python中的匿名函数使用简介
文章推荐： Python中用函数作为返回值和实现闭包的教程
文章推荐： zblog忘记后台账号密码怎么办？
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com