个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
24
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python爬虫常用库的安装及其环境配置由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
Python常用库的安装 。
urllib、re 这两个库是Python的内置库，直接使用方法import导入即可.
在python中输入如下代码:
|
1
2
3
4
|
import
urllib
import
urllib.request
response
=
urllib.request.urlopen(
"http://www.baidu.com"
)
print
(response)
|
返回结果为HTTPResponse的对象:
<http.client.HTTPResponse object at 0x000001929C7525F8> 。
正则表达式模块 。
|
1
|
import
re
|
该库为python自带的库，直接运行不报错，证明该库正确安装.
requests这个库是请求的库 。
我们需要使用执行文件pip3来进行安装。文件处于C:\Python36\Scripts下，我们可以先将此路径设为环境变量。在命令行中输入pip3 install requests进行安装。安装完成后进行验证 。
|
1
2
3
|
>>>
import
requests
>>> requests.get(
'http://www.baidu.com'
)
<Response [
200
]>
|
selenium实际上是用来浏览器的一个库 。
做爬虫时可能会碰到使用JS渲染的网页，使用requests来请求时，可能无法正常获取内容，我们使用selenium可以驱动浏览器获得渲染后的页面。也是使用pip3 install selenium安装。进行验证 。
|
1
2
3
4
5
|
>>>
import
selenium
>>>
from
selenium
import
webdriver
>>> driver
=
webdriver.Chrome()
DevTools listening on ws:
/
/
127.0
.
0.1
:
60980
/
devtools
/
browser
/
7c2cf211
-
1a8e
-
41ea
-
8e4a
-
c97356c98910
>>> driver.get(
'http://www.baidu.com'
)
|
上述命令可以直接打开chrome浏览器，并且打开百度。但是，在这之前我们必须安装一个chromedriver，并且安装googlchrome浏览器，可自行去官网下载。当我们安装完毕后再运行这些测试代码可能依旧会出现一闪而退的情况，那么问题出在，chrome和chromdriver的版本不兼容，可以在官网下载chrome更高的版本，或者chromedriver更低的版本，但是只要都是最高版本就没问题。 如何查看本机的chrome的版本，具体方法如下:
chromedriver的下载地址如下： http://chromedriver.storage.googleapis.com/index.html chromedriver解压后放到Python或者其他配置了环境变量的目录下。 。
phantomjs是一个无界面浏览器，在后台运行 。
可在官网自行下载。并且需要将phantomjs.exe 的所在目录设为环境变量。测试代码 。
|
1
2
3
4
5
|
>>>
from
selenium
import
webdriver
>>> driver
=
webdriver.PhantomJS()
>>> driver.get(
'http://www.baidu.com'
)
>>> driver.page_source
'<!DOCTYPE html><!
-
-
STATUS OK
-
-
><html><head>\n
|
lxml 。
使用pip3 install lxml安装 。
beautifulsoup是一个网络解析库，依赖于lxml库 。
使用pip3安装。必须安装pip3 install beautifulsoup4，因为beautifulsoup已经停止维护了。安装验证 。
|
1
2
3
|
>>>
from
bs4
import
BeautifulSoup
>>> soup
=
BeautifulSoup(
'<html></html>'
,
'lxml'
)
>>>
|
pyquery也是网页解析库 。
较bs4更加方便，语法和Jquery无异。也是使用pip3 安装 。
|
1
2
3
4
5
6
|
>>>
from
pyquery
import
PyQuery as pq
#将其重命名
>>> doc
=
pq(
'<html></html>'
)
>>> doc
=
pq(
'<html>hello world</html>'
)
>>> result
=
doc(
'html'
).text()
>>> result
'hello world'
|
pymysql是一个操作mysql数据库的库 。
使用pip3 安装 。
|
1
2
3
4
5
|
>>>
import
pymysql
>>> conn
=
pymysql.connect(host
=
'localhost'
,user
=
'root'
,password
=
'123456'
,port
=
3306
,db
=
'mysql'
)
>>> cursor
=
conn.cursor()
>>> cursor.execute(
'select * from db'
)
0
|
pymongo操作数据库MongoDB的库 。
需要开启MongoDB服务，在计算机管理当中的服务寻找。也是使用pip3安装 。
|
1
2
3
4
5
6
7
8
|
>>>
import
pymongo
>>> client
=
pymongo.MongoClient(
'localhost'
)
>>> db
=
client[
'newtestdb'
]
>>> db[
'table'
].insert({
'name'
:
'tom'
})
ObjectId(
'5b868ee4c4d17a0b2466f748'
)
>>> db[
'table'
].find_one({
'name'
:
'tom'
})
{
'_id'
: ObjectId(
'5b868ee4c4d17a0b2466f748'
),
'name'
:
'tom'
}
>>>
#完成了单条数据的查询
|
redis一个非关系型数据库，运行效率高 。
使用pip3 install redis安装 。
|
1
2
3
4
5
6
7
|
>>>
import
redis
>>> r
=
redis.Redis (
'localhost'
,
6379
)
>>> r.
set
(
'name'
,
'tom'
)
True
>>> r.get(
'name'
)
b
'tom'
>>>
#是一个byte型数据类型
|
flask做代理时可能会用到 。
详细内容可以在flask官网查看flask文档 。
使用pip3 安装pip3 install flask 。
django是一个web服务器框架 。
提供了一个完整的后台管理，引擎、接口等，可以使用它做一个完整的网站。可在django的官网查看文档。使用pip3 install django安装 。
jupyter 可以理解为一个记事本 。
运行网页端，可以进行写代码，调试，运行。在官网可以下载jupyter，也可以用pip3 安装，相关库非常多，安装比较久。安装后可以在命令行直接运行jupyter notebook，因为此文件在scrips目录下。 C:\Users\dell>jupyter notebook [I 20:32:37.552 NotebookApp] The port 8888 is already in use, trying another port. [I 20:32:37.703 NotebookApp] Serving notebooks from local directory: C:\Users\dell 。
可以在选项 new 中建立新python3文件，并且可以编写代码.
默认的文件名为unite，此处将其改为testDemo，使用快捷键ctrl+回车 运行，按键B跳转至新的编辑行.
总结 。
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对我的支持。如果你想了解更多相关内容请查看下面相关链接 。
原文链接：http://www.cnblogs.com/dadahuan/p/9556706.html 。
最后此篇关于Python爬虫常用库的安装及其环境配置的文章就讲到这里了,如果你想了解更多关于Python爬虫常用库的安装及其环境配置的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
24
4
0
我在一个网站上工作。 我需要了解我的网站是否获得了来自 Google 或任何其他搜索引擎的抓取工具/机器人的访问 在我的应用程序中，我正在拦截 http 请求。并且需要查明爬虫/机器人是否正在发出 h
我与北京理工大学python爬虫的邂逅 在人生的旅途中，我们时常有机会邂逅一些惊艳的事物，它们仿佛一束亮光照亮了前行的道路。而我，一个平凡的人类，也不例外。回想起那个让我心动的时刻，我想起了与北京理工
从“爬虫”谈起 在这个信息爆炸的时代，互联网上的数据宛如茫茫星海，琳琅满目。但是，我们能否想象到这些数据背后隐藏着多少珍贵的信息呢？有人说，要想获得这些数据，我们需要借助一种神奇的力量——爬虫。 什么
探索未知的领域 曾几何时，我陷入了对互联网世界的好奇之中。作为一个普通的人类，我对于计算机技术的了解可谓是一窍不通。然而，好奇心驱使着我踏上了学习的征途。 奇妙的爬虫 在探索计算机领域的过程中，我翻阅
教室的奇妙之旅 在一个晴朗的早晨，我来到了一所神奇且富有魅力的教室。这里充满了未知的冒险和无限的学习可能。嘿，你没听错，就是那个零基础Python视频教程课程的教室！让我带你一起踏上这趟令人期待的爬虫
零基础学python3 爬虫 嗨，各位小伙伴们！今天要和大家分享一段有关学习Python3爬虫的故事。无论是技术小白还是编程高手，都可以从中获益良多。 1. 邂逅神奇的爬虫世界 就像是迷失在未知之地的
我正在开发一个 Python(3) 程序，在该程序中，我必须使用输入作为表示各种操作的多次迭代列表来返回目录迭代的移动次数，例如: ../ 表示移动到当前文件夹的父文件夹。 ./ 保留在同一文件夹中
我和Python：一段关于爬虫和第三方库的故事 曾经有一个人，他和一门编程语言结下了不解之缘。这门语言就是Python，一个灵活而强大的工具，让他的世界变得多姿多彩。 遇见爬虫：探索未知的世界 某天，
偷心技艺：大众点评TOP10 爬虫 Python 故事发生在一个被互联网包围的城市，充满了各种各样的餐馆、咖啡厅和美食街巷。每天都有无数的食客们纠结于选择哪家餐厅才能获得满足和享受。就在这个时候，我偶
登山寻宝：为什么Python爬虫部分网页源码 人生就像登山寻宝的旅程，充满了未知和挑战。而对于爱好编程的我来说，写一个Python爬虫，探索网络世界也是一种刺激的冒险。今天，我想和大家分享一下为什么要
插班生的悲喜交加 记得那个夏天，我踏入了编程的殿堂，成为了一名程序员。对于一个毫无基础的人来说，这是一次勇敢而激动的尝试。然而，更令我兴奋的是，在我的码农之旅中，我发现了一种神奇的力量——Python
一、 意外的宝藏 当我踏进了编程的大门，发现了那个绚丽多彩的世界时，我仿佛捡到了一个意外的宝藏。在编码的世界里，我像是一个魔术师，用着神奇的符号与逻辑来创造奇迹。然而，随着时间的推移，我渐渐找到了一种
“呜呜呜~” 夏日的阳光穿过微风，洒在我身上，仿佛一片温暖而宁静的海洋。我望着眼前充满希望与挑战的屏幕，满脸的期待和困惑。作为一个刚刚入门的编程初学者，我竭尽全力探索着那座神秘的编程世界，好像是航行在
我的编程之旅 嗨，大家好！我是一个普通的人类，对于编程世界充满着无限的好奇和热情。今天，我想向大家讲述一段关于我的编程经历，特别是在爬虫领域的探索之旅。 1. 踏上未知的征途 就像一只踏上大海的小船，
揭秘神奇的爬虫世界：探寻京东销量数据库 从古至今，人类一直渴望了解世界的各个角落。而对于互联网这个充满未知和神秘的领域来说，我们更是怀着好奇和充满冒险精神的心态去探索。今天，我将带领大家踏上一段激动人
啊！你好呀！很高兴能遇到你，让我向你讲一个关于python爬虫爬取关键词排名的故事。 章节一：奇妙的网络世界 网络就像一片浩瀚的海洋，里面有无数宝藏等待着我们发掘。而当我们学会了使用python这把钥
一次意外的奇遇 在我们生活的世界中，技术如今已经无处不在，无论是大型软件开发还是个人应用，都离不开它的支持。而其中最为神奇的领域之一，就是爬虫技术。想象一下，你有可能仅凭几行代码，就能够在电脑屏幕上将
奇遇之旅 在这个大千世界中，我有幸踏上了一次令人兴奋的冒险之旅。故事的开始，是一个寂静而神秘的夜晚。 迷宫的入口 深夜的城市，街道上弥漫着微弱的灯光，仿佛点缀着无数的星星。我沿着曲径通幽的小巷走着，脚
python 爬虫 自动上传下载 从前有一个热爱编程的小伙子，他喜欢利用自己的技术解决各种实际问题。有一天，他面对一个任务：需要在网络上批量上传和下载文件。这可不是一件轻松的工作，但对于这位小伙子来说
一场奇妙的探险之旅：Python编程语言中的爬虫第三方库 故事从一个寻宝者开始。他身穿一件斑驳的皮衣，手持一柄锈迹斑斑的剑，如同一个当代版的荒野游侠。这位勇士的目标是探索Python编程语言中的神秘领
我是一名优秀的程序员,十分优秀！