个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
29
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章热门问题python爬虫的效率如何提高由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
文 | 闲欢 。
来源：Python 技术「ID: pythonall」 。
今天在浏览知乎时，发现一个有趣的问题：如何优化 Python 爬虫的速度?
他的问题描述是:
目前在写一个 Python 爬虫，单线程 urllib 感觉过于慢了，达不到数据量的要求（十万级页面）。求问有哪些可以提高爬取效率的方法?
这个问题还蛮多人关注的，但是回答的人却不多.
我今天就来尝试着回答一下这个问题.
程序提速这个问题其实解决方案就摆在那里，要么通过并发来提高单位时间内处理的工作量，要么从程序本身去找提效点，比如爬取的数据用gzip传输、提高处理数据的速度等.
我会分别从几种常见的并发方法去做同一件事情，从而比较处理效率.
我们先来一个简单的爬虫，看看单线程处理会花费多少时间?
|
1
2
3
4
5
6
7
8
9
10
11
12
|
import
time
import
requests
from
datetime
import
datetime
def
fetch(url):
r
=
requests.get(url)
print
(r.text)
start
=
datetime.now()
t1
=
time.time()
for
i
in
range
(
100
):
fetch(
'http://httpbin.org/get'
)
print
(
'requests版爬虫耗时：'
, time.time()
-
t1)
# requests版爬虫耗时：54.86306357383728
|
我们用一个爬虫的测试网站，测试爬取100次，用时是54.86秒.
下面我们将上面的程序改为多线程版本:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
import
threading
import
time
import
requests
def
fetch():
r
=
requests.get(
'http://httpbin.org/get'
)
print
(r.text)
t1
=
time.time()
t_list
=
[]
for
i
in
range
(
100
):
t
=
threading.Thread(target
=
fetch, args
=
())
t_list.append(t)
t.start()
for
t
in
t_list:
t.join()
print
(
"多线程版爬虫耗时："
, time.time()
-
t1)
# 多线程版爬虫耗时：0.8038511276245117
|
我们可以看到，用上多线程之后，速度提高了68倍。其实用这种方式的话，由于我们并发操作，所以跑100次跟跑一次的时间基本是一致的。这只是一个简单的例子，实际情况中我们不可能无限制地增加线程数.
除了多线程之外，我们还可以使用多进程来提高爬虫速度:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
import
requests
import
time
import
multiprocessing
from
multiprocessing
import
Pool
MAX_WORKER_NUM
=
multiprocessing.cpu_count()
def
fetch():
r
=
requests.get(
'http://httpbin.org/get'
)
print
(r.text)
if
__name__
=
=
'__main__'
:
t1
=
time.time()
p
=
Pool(MAX_WORKER_NUM)
for
i
in
range
(
100
):
p.apply_async(fetch, args
=
())
p.close()
p.join()
print
(
'多进程爬虫耗时：'
, time.time()
-
t1)
多进程爬虫耗时：
7.9846765995025635
|
我们可以看到多进程处理的时间是多线程的10倍，比单线程版本快7倍.
我们将程序改为使用 aiohttp 来实现，看看效率如何:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
import
aiohttp
import
asyncio
import
time
async
def
fetch(client):
async with client.get(
'http://httpbin.org/get'
) as resp:
assert
resp.status
=
=
200
return
await resp.text()
async
def
main():
async with aiohttp.ClientSession() as client:
html
=
await fetch(client)
print
(html)
loop
=
asyncio.get_event_loop()
tasks
=
[]
for
i
in
range
(
100
):
task
=
loop.create_task(main())
tasks.append(task)
t1
=
time.time()
loop.run_until_complete(main())
print
(
"aiohttp版爬虫耗时："
, time.time()
-
t1)
aiohttp版爬虫耗时：
0.6133313179016113
|
我们可以看到使用这种方式实现，比单线程版本快90倍，比多线程还快.
通过上面的程序对比，我们可以看到，对于多任务爬虫来说，多线程、多进程、协程这几种方式处理效率的排序为：aiohttp > 多线程 > 多进程。因此，对于简单的爬虫任务，如果想要提高效率，可以考虑使用协程。但是同时也要注意，这里只是简单的示例，实际运用中，我们一般会用线程池、进程池、协程池去操作.
这就是问题的答案了吗?
对于一个严谨的程序员来说，当然不是，实际上还有一些优化的库，例如grequests，可以从请求上解决并发问题。实际的处理过程中，肯定还有其他的优化点，这里只是从最常见的几种并发方式去比较而已，应付简单爬虫还是可以的，其他的方式欢迎大家在评论区留言探讨.
以上就是热门问题python爬虫的效率如何提高的详细内容，更多关于python爬虫效率提高的资料请关注我其它相关文章！ 。
原文链接：https://blog.csdn.net/weixin_48923393/article/details/120944769 。
最后此篇关于热门问题python爬虫的效率如何提高的文章就讲到这里了,如果你想了解更多关于热门问题python爬虫的效率如何提高的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
29
4
0
调用最新文章： <ul> <?php $post_query = new WP_
关闭。这个问题是not reproducible or was caused by typos .它目前不接受答案。 想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。 5年前关闭。
我正在尝试创建一个不需要订阅的热门可观察对象。这是针对一个库的，我想让用户能够调用某些方法，并避免需要调用 subscribe() 来触发可观察量。最初我有这个: const q = new Queu
我的字典将包含数千个键，每个键都有一个 1000x1000 的 numpy 数组作为值。我不需要文件是人类可读的。小尺寸和快速加载时间更为重要。 首先我尝试了 savemat ，但我遇到了 probl
4 月 27 日，github 趋势榜第 3 位是一个用 python 编码实现的算法库，star 数早已达到 26000+ 链接：https://github.com/thealgorith
关闭。这个问题是opinion-based .它目前不接受答案。 想改善这个问题吗？更新问题，以便可以通过 editing this post 用事实和引文回答问题. 8年前关闭。 Improve t
我是一名优秀的程序员,十分优秀！