个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
28
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章在Linux系统上安装Python的Scrapy框架的教程由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
这是一款提取网站数据的开源工具。Scrapy框架用Python开发而成，它使抓取工作又快又简单，且可扩展。我们已经在virtual box中创建一台虚拟机（VM）并且在上面安装了Ubuntu 14.04 LTS。 安装 Scrapy Scrapy依赖于Python、开发库和pip。Python最新的版本已经在Ubuntu上预装了。因此我们在安装Scrapy之前只需安装pip和python开发库就可以了.
pip是作为python包索引器easy_install的替代品，用于安装和管理Python包。pip包的安装可见图 1.
|
1
|
sudo
apt-get
install
python-pip
|
。
图:1 pip安装 。
我们必须要用下面的命令安装python开发库。如果包没有安装那么就会在安装scrapy框架的时候报关于python.h头文件的错误.
|
1
|
sudo
apt-get
install
python-dev
|
。
图:2 Python 开发库 。
scrapy框架既可从deb包安装也可以从源码安装。在图3中我们用pip（Python 包管理器）安装了deb包了.
|
1
|
sudo
pip
install
scrapy
|
。
图:3 Scrapy 安装 。
图4中scrapy的成功安装需要一些时间.
图:4 成功安装Scrapy框架 使用scrapy框架提取数据 基础教程 。
我们将用scrapy从fatwallet.com上提取商店名称（卖卡的店）。首先，我们使用下面的命令新建一个scrapy项目“store name”， 见图5。 。
|
1
|
$
sudo
scrapy startproject store_name
|
。
图:5 Scrapy框架新建项目 。
上面的命令在当前路径创建了一个“store_name”的目录。项目主目录下包含的文件/文件夹见图6.
。
|
1
|
$
sudo
ls
–lR store_name
|
。
图:6 store_name项目的内容 。
每个文件/文件夹的概要如下:
由于我们要从fatwallet.com上如提取店名，因此我们如下修改文件（LCTT 译注：这里没说明是哪个文件，译者认为应该是 items.py）.
|
1
2
3
|
import
scrapy
class
StoreNameItem(scrapy.Item):
name
=
scrapy.Field()
# 取出卡片商店的名称
|
之后我们要在项目的store_name/spiders/文件夹下写一个新的蜘蛛。蜘蛛是一个python类，它包含了下面几个必须的属性:
我们在storename/spiders/目录下创建了“storename.py”爬虫，并添加如下的代码来从fatwallet.com上提取店名。爬虫的输出写到文件（StoreName.txt）中，见图7.
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
from
scrapy.selector
import
Selector
from
scrapy.spider
import
BaseSpider
from
scrapy.http
import
Request
from
scrapy.http
import
FormRequest
import
re
class
StoreNameItem(BaseSpider):
name
=
"storename"
allowed_domains
=
[
"fatwallet.com"
]
start_urls
=
[
"http://fatwallet.com/cash-back-shopping/"
]
def
parse(
self
,response):
output
=
open
(
'StoreName.txt'
,
'w'
)
resp
=
Selector(response)
tags
=
resp.xpath('
/
/
tr[@
class
=
"storeListRow"
]|\
/
/
tr[@
class
=
"storeListRow even"
]|\
/
/
tr[@
class
=
"storeListRow even last"
]|\
/
/
tr[@
class
=
"storeListRow last"
]').extract()
for
i
in
tags:
i
=
i.encode(
'utf-8'
,
'ignore'
).strip()
store_name
=
''
if
re.search(r
"class=\"storeListStoreName\">.*?<"
,i,re.I|re.S):
store_name
=
re.search(r
"class=\"storeListStoreName\">.*?<"
,i,re.I|re.S).group()
store_name
=
re.search(r
">.*?<"
,store_name,re.I|re.S).group()
store_name
=
re.sub(r
'>'
,"
",re.sub(r'<',"
",store_name,re.I))
store_name
=
re.sub(r
'&'
,
"&"
,re.sub(r
'&'
,
"&"
,store_name,re.I))
#print store_name
output.write(store_name
+
"
"+"
\n")
|
最后此篇关于在Linux系统上安装Python的Scrapy框架的教程的文章就讲到这里了,如果你想了解更多关于在Linux系统上安装Python的Scrapy框架的教程的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
28
4
0
我有这个代码: System.err.print("number of terms = "); System.out.println(allTerms.size()); System.err
我有以下问题:在操作系统是 Linux 的情况下和在操作系统是 MacOs 的情况下，我必须执行不同的操作。 所以我创建了以下 Ant 脚本目标: /u
我正在调用 system("bash ../tools/bashScript\"This is an argument!\"&")，然后我正在调用 close(socketFD) 直接在 system
使用最初生成的随机元素来约束随机数组的连续元素是否有效。 例如:我想生成一组 10 个 addr、size 对来模拟典型的内存分配例程并具有如下类: class abc; rand bit[5:0
我正在创建一个必须使用system(const char*)函数来完成一些“繁重工作”的应用程序，并且我需要能够为用户提供粗略的进度百分比。例如，如果操作系统正在为您移动文件，它会为您提供一个进度条，
我即将编写一些项目经理、开发人员和业务分析师会使用的标准/指南和模板。目标是更好地理解正在开发或已经开发的解决方案。 其中一部分是提供有关记录解决方案的标准/指南。例如。记录解决/满足业务案例/用户需
在开发使用压缩磁盘索引或磁盘文件的应用程序时，其中部分索引或文件被重复访问(为了论证，让我们说一些类似于 Zipfian 分布的东西)，我想知道什么时候足够/更好地依赖操作系统级缓存(例如，Debia
我们编写了一个 powershell 脚本，用于处理来自内部系统的图像并将其发送到另一个系统。现在，业务的另一部分希望加入其中，对数据进行自己的处理，并将其推送到另一个系统。打听了一下，公司周围有几个
我正在尝试朗姆酒我的应用程序，但我收到以下错误:System.Web.HttpUnhandledException:引发了“System.Web.HttpUnhandledException”类型的异
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的，
所以我在其他程序中没有收到此错误，但我在这个程序中收到了它。 这个程序是一个我没有收到错误的示例。 #include int main() { system("pause"); } // en
我在 c# System.URI.FormatExption 中遇到问题 为了清楚起见，我使用的是 Segseuil 的 Matlab 方法，并且它返回一个图片路径 result。我想为其他用户保存此
我正在尝试像这样设置文本框的背景色: txtCompanyName.BackColor = Drawing.Color.WhiteSmoke; 它不喜欢它，因为它要我在前面添加系统，例如: txtCo
请帮助我解决 System.StackOverflowException我想用 .aspx 将记录写入数据库我使用 4 层架构来实现这一切都正常但是当我编译页面然后它显示要插入数据的字段时，当我将数据
我使用了一些通常由系统调用的API。 因此，我将 android:sharedUserId="android.uid.system" 添加到 manifest.xml， 并使用来自 GIT 的 And
我正在尝试创建一个小型应用程序，它需要对/system 文件夹进行读/写访问(它正在尝试删除一个文件，并创建一个新文件来代替它)。我可以使用 adb 毫无问题地重新挂载该文件夹，如果我这样做，我的应用
我想从没有 su 的系统 priv-app 将/system 重新挂载为 RW。如何以编程方式执行此操作？只会用 Runtime.getruntime().exec() 执行一个 shell 命令吗
我正在尝试制作一个带有登录系统的程序我对此很陌生，但我已经连续工作 8 个小时试图解决这个问题。这是我得到的错误代码 + ServerVersion 'con.ServerVersion' threw
当我“构建并运行”Code::Blocks 中的程序时，它运行得非常好!但是当我从“/bin”文件夹手动运行它时，当它试图用 system() 调用“temp.bat”时，它会重置。这是为什么？它没有
我想使用 system/pipe 命令来执行具有特殊字符的命令。下面是示例代码。通过系统/管道执行命令后，它通过改变特殊字符来改变命令。我很惊讶地看到系统命令正在更改作为命令传递的文本。 run(ch
我是一名优秀的程序员,十分优秀！