作者热门文章
- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我正在尝试使用 Requests 模块编写一个简单的网络爬虫程序,我想知道如何禁用它的 -default- keep-alive 功能。
我尝试使用:
s = requests.session()
s.config['keep_alive'] = False
但是,我收到一条错误消息,指出 session 对象没有属性“config”,我认为它已随新版本更改,但我似乎无法在官方文档中找到如何操作。
事实是我在特定网站上运行爬虫时,它最多只获取五个页面,然后无限循环,所以我认为它与保持事件功能有关!
PS:Requests 是网络爬虫的好模块吗?有没有更适合的东西?
谢谢!
最佳答案
关于Python 请求 (>= 1.*) : How to disable keep-alive?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21008953/
我是一名优秀的程序员,十分优秀!