python爬虫简单的添加代理进行访问的实现代码-6ren

python爬虫简单的添加代理进行访问的实现代码

转载作者：qq735679552 更新时间：2022-09-28 22:32:09

33

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章python爬虫简单的添加代理进行访问的实现代码由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

在使用python对网页进行多次快速爬取的时候,访问次数过于频繁,服务器不会考虑user-agent的信息,会直接把你视为爬虫,从而过滤掉,拒绝你的访问,在这种时候就需要设置代理,我们可以给proxies属性设置一个代理的ip地址,代码如下

 
    ? 
   
 
     
       
       
         import 
         requests 
        
 
         from 
         lxml  
         import 
         etree 
        
 
         url  
         = 
         "https://www.ip.cn" 
        
 
         headers  
         = 
         { 
         "user-agent" 
         :  
         "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/70.0.3538.102 safari/537.36 opr/57.0.3098.116" 
         , } 
        
 
         pro  
         = 
         { 
        
 
         # 'https': 'https://118.122.92.252:37901', #四川省成都市 电信 
        
 
         'https' 
         :  
         'https://27.17.45.90:43411' 
         ,  
         #湖北省武汉市 电信 
        
 
         } 
        
 
         try 
         : 
        
 
         response  
         = 
         requests.get(url, headers 
         = 
         headers, proxies 
         = 
         pro) 
        
 
         html_str  
         = 
         response.content.decode() 
        
 
         # print(html_str) 
        
 
         html  
         = 
         etree.html(html_str) 
        
 
         message  
         = 
         html.xpath( 
         "//div[@class='well']//p/text()" 
         ) 
        
 
         ip  
         = 
         html.xpath( 
         "//div[@class='well']//p/code/text()" 
         ) 
        
 
         eng  
         = 
         html.xpath( 
         "//div[@class='well']/p/text()" 
         ) 
        
 
         print 
         (message[ 
         0 
         ] 
         + 
         ip[ 
         0 
         ]) 
        
 
         print 
         (message[ 
         1 
         ] 
         + 
         ip[ 
         1 
         ]) 
        
 
         print 
         (eng[ 
         2 
         ]) 
        
 
         except 
         requests.exceptions.proxyerror as e: 
        
 
         print 
         ( 
         "当前代理异常" 
         ) 
        
 
         except 
         : 
        
 
         print 
         ( 
         "当前请求异常" 
         ) 
        
 
     
 
   

在上面的代码中,调用requests库,对一个ip地址查询网页进行访问,随后使用lxml库的xpath对网页进行分析提取,返回用户访问此网页时自己的ip地址,如果代理设置成功,则会返回你的信息和ip地址,如下

python爬虫简单的添加代理进行访问的实现代码

如果代理失败则会返回异常,在代码中使用了捕获异常,则会返回设置的提示信息,"当前代理异常",如果不是代理的错误则是"当前请求异常" 。

python爬虫简单的添加代理进行访问的实现代码

ps:免费的代理不是很稳定,在确认代码无误后,如果仍然返回异常,可尝试更换代理ip... 。

总结。

以上所述是小编给大家介绍的python爬虫简单的添加代理进行访问的实现代码，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我网站的支持！。

原文链接：https://www.jianshu.com/p/41feb65c7d2a 。

最后此篇关于python爬虫简单的添加代理进行访问的实现代码的文章就讲到这里了,如果你想了解更多关于python爬虫简单的添加代理进行访问的实现代码的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

33

4

0

文章推荐： Docker制作镜像的完整过程

文章推荐： javaWeb如何实现随机图片验证码详解

文章推荐： CentOS 8.4安装Docker的详细教程

文章推荐： Django项目中添加ldap登陆认证功能的实现

javascript - 如何在单击添加时隐藏最后一次单击(添加)按钮以及当用户单击删除按钮然后显示上一个隐藏(添加)按钮
我创建了一个用户可以添加测试的字段。这一切运行顺利我只希望当用户点击(添加另一个测试)然后上一个(添加另一个测试)删除并且这个显示在新字段中。所有运行良好的唯一问题是点击(添加另一个字段)之前添加另
java - 将数组的内容添加到 JFrame，添加 JPanel，添加 JScroll
String[] option = {"Adlawan", "Angeles", "Arreza", "Benenoso", "Bermas", "Brebant
php - 为什么我们不能使用 MAC 添加。而不是 IP 添加
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。这个问题似乎不是关于 a specific programming problem, a softwar
jquery - 添加 jQuery Nav-tab 添加 Bootstrap
我正在努力将 jQuery 滚动功能添加到 nav-tab (Bootstrap 3)。我希望用户能够选择他们想要的选项卡，并在选项卡内容中有一个可以平滑滚动到 anchor 的链接。这是我的代码，可
jquery - 添加 CSS 到 jQuery Ui Tab 添加
我正在尝试在用户登录后再添加 2 个 ui 选项卡。首先，我尝试做一个之后。 $('#slideshow').tabs('remove', '4'); $("#slideshow ul li:last
javascript - 使用 JavaScript 添加/删除元素(添加/删除带有编号 ID 和名称的字段)
我有一个包含选择元素的表单，我想通过选择添加和删除其中一些元素。这是html代码(这里也有jsfiddle http://jsfiddle.net/txhajy2w/):
ios - 添加 alpha 以查看 VS 添加 alpha 到 UIColor
正在写这个: view.backgroundColor = UIColor.white.withAlphaComponent(0.9) 等同于: view.backgroundColor = UICo
Javascript 添加
好的，如果其中有任何信息，我想将这些列添加到一起。所以说我有账户 1 2 3 . 有 4 个帐户空间，但只有 3 个帐户。我如何创建 java 脚本来添加它。最佳答案 Live Example H
添加/减去数字以查找是否可以生成数字的算法？
我想知道是否有一种有效的预制算法来确定一组数字的和/差是否可以等于不同的数字。示例: 5、8、10、2，使用 + 或 - 等于 9。5 - 8 = -3 + 10 = 7 + 2 = 9 如果有一个预
Git卡在状态/添加/提交
我似乎有一个卡住的 git repo。它卡在所有基本的添加、提交命令上，git push 返回所有内容为最新的。从其他帖子我已经完成了 git gc 和 git fsck/ 我认为基本的调试步骤是
sql - 添加 where 子句会使查询速度变慢
我的 Oracle SQL 查询如下- Q1- select hca.account_number, hca.attribute3, SUM(rcl.extended_amou
iPhone:添加 UIRequiredDeviceCapability
我正在阅读 http://developer.apple.com/iphone/library/documentation/iPhone/Conceptual/iPhoneOSProgrammingG
javascript - 添加 "more"按钮
我正在尝试添加一个“加载更多”按钮并限制下面的结果，这样投资组合页面中就不会同时加载 1000 个内容，如下所示:http://typesetdesign.com/portfolio/ 我对 PHP
javascript - 添加，使用Javascript函数添加多个文本框
我遇到这个问题，我添加了 8 个文本框，它工作正常，但是当我添加更多文本框(如 16 个文本框)时，它不会添加最后一个文本框。有人遇到过这个问题吗？提前致谢。 Live Link: JAVASCRIP
javascript - 添加/删除克隆第一行默认不删除
add/remove clone first row default not delete 添加/删除克隆第一行默认不删除&并获取正确的SrNo(例如:添加3行并在看到问题后删除SrNo.2)
javascript - 添加/删除表单中的输入
我编码this ，但删除按钮不起作用。我在控制台中没有任何错误.. var counter = 0; var dataList = document.getElementById('materi
javascript - 添加/删除类似数组的对象中的元素
我有一个类似数组的对象: [1:数组[10]、2:数组[2]、3:数组[2]、4:数组[2]、5:数组[3]、6:数组[1]] 我正在尝试删除前两个元素，执行一些操作，然后将它们再次插入到同一位置。
arrays - 添加/删除单元格时保持数组排序的最佳方法
使用的 Delphi 版本:2007 你好，我有一个 Tecord 数组 TInfo = Record Name : String; Price : Integer; end; var Info
javascript - 添加/删除小部件以及调整大小不起作用
我使用了基本的 gridster 代码，然后我声明了通过按钮添加和删除小部件的函数它工作正常但是当我将调整大小功能添加到上面的代码中时，它都不起作用(我的意思是调整大小，添加和删除小部件) 我的js代
javascript - 添加/删除上一个或下一个父级中的类
title 323 323 323 title 323 323 323 title 323 323 323 JS $(document).keydown(function(e){

首页

博学

6Ren·AI

商城

python爬虫简单的添加代理进行访问的实现代码