Python实现爬虫设置代理IP和伪装成浏览器的方法分享-6ren

Python实现爬虫设置代理IP和伪装成浏览器的方法分享

转载作者：qq735679552 更新时间：2022-09-28 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python实现爬虫设置代理IP和伪装成浏览器的方法分享由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

1.python爬虫浏览器伪装。

 
    ? 
   
         #导入urllib.request模块 
        
         import urllib.request 
        
         #设置请求头 
        
         headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0") 
        
         #创建一个opener 
        
         opener=urllib.request.build_opener() 
        
         #将headers添加到opener中 
        
         opener.addheaders=[headers] 
        
         #将opener安装为全局 
        
         urllib.request.install_opener(opener) 
        
         #用urlopen打开网页 
        
         data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

2.设置代理。

 
    ? 
   
         #定义代理ip 
        
         proxy_addr="122.241.72.191:808" 
        
         #设置代理 
        
         proxy=urllib.request.ProxyHandle({'http':proxy_addr}) 
        
         #创建一个opener 
        
         opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle) 
        
         #将opener安装为全局 
        
         urllib.request.install_opener(opener) 
        
         #用urlopen打开网页 
        
         data=urllib.request.urlopen(url).read().decode('utf-8','ignore')

3.同时设置用代理和模拟浏览器访问。

 
    ? 
   
         #定义代理ip 
        
         proxy_addr="122.241.72.191:808" 
        
         #创建一个请求 
        
         req=urllib.request.Request(url) 
        
         #添加headers 
        
         req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) 
        
         #设置代理 
        
         proxy=urllib.request.ProxyHandle("http":proxy_addr) 
        
         #创建一个opener 
        
         opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandle) 
        
         #将opener安装为全局 
        
         urllib.request.install_opener(opener) 
        
         #用urlopen打开网页 
        
         data=urllib.request.urlopen(req).read().decode('utf-8','ignore')

4.在请求头中添加多个信息。

 
    ? 
   
         import urllib.request 
        
         page_headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0", 
        
         "Host":"www.baidu.com", 
        
         "Cookie":"xxxxxxxx" 
        
         } 
        
         req=urllib.request.Request(url,headers=page_headers) 
        
         data=urllib.request.urlopen(req).read().decode('utf-8','ignore')

5.添加post请求参数。

 
    ? 
   
         import urllib.request 
        
         import urllib.parse 
        
         #设置post参数 
        
         page_data=urllib.parse.urlencode([ 
        
         ('pn',page_num), 
        
         ('kd',keywords) 
        
         ]) 
        
         #设置headers 
        
         page_headers={ 
        
         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0', 
        
         'Connection':'keep-alive', 
        
         'Host':'www.lagou.com', 
        
         'Origin':'https://www.lagou.com', 
        
         'Cookie':'JSESSIONID=ABAAABAABEEAAJA8F28C00A88DC4D771796BB5C6FFA2DDA; user_trace_token=20170715131136-d58c1f22f6434e9992fc0b35819a572b', 
        
         'Accept':'application/json, text/javascript, */*; q=0.01', 
        
         'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8', 
        
         'Referer':'https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E6%8C%96%E6%8E%98?labelWords=&fromSearch=true&suginput=', 
        
         'X-Anit-Forge-Token':'None', 
        
         'X-Requested-With':'XMLHttpRequest' 
        
         } 
        
         #打开网页 
        
         req=urllib.request.Request(url,headers=page_headers) 
        
         data=urllib.request.urlopen(req,data=page_data.encode('utf-8')).read().decode('utf-8')

6.利用phantomjs模拟浏览器请求。

 
    ? 
   
         #1.下载phantomjs安装到本地,并设置环境变量 
        
         from selenium import webdriver 
        
         bs=webdriver.PhantomJS() 
        
         #打开url 
        
         bs.get(url) 
        
         #获取网页源码 
        
         url_data=bs.page_source 
        
         #将浏览到的网页保存为图片 
        
         bs.get_screenshot_as_file(filename)

7.phantomjs设置user-agent和cookie 。

 
    ? 
   
         from selenium import webdriver 
        
         from selenium.webdriver.common.desired_capabilities import DesiredCapabilities 
        
         dcap = dict(DesiredCapabilities.PHANTOMJS) 
        
         dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0") 
        
         bs = webdriver.PhantomJS(desired_capabilities=dcap) 
        
         bs.get(url) 
        
         #删除cookie 
        
         bs.delete_all_cookies() 
        
         #设置cookie 
        
         #cookie格式：在浏览器cookie中查看，一个cookie需要包含以下参数，domain、name、value、path 
        
         cookie={ 
        
         'domain':'.www.baidu.com', #注意前面有. 
        
         'name':'xxxx',  
        
         'value':'xxxx',  
        
         'path':'xxxx' 
        
         } 
        
         #向phantomjs中添加cookie 
        
         bs.add_cookie(cookie)

8.利用web_driver工具。

 
    ? 
   
         #1.下载web_driver工具（如chromdriver.exe）及对应的浏览器 
        
         #2.将chromdriver.exe放到某个目录，如c:\chromdriver.exe 
        
         from selenium import webdriver 
        
         driver=webdriver.Chrome(executable_path="C:\chromdriver.exe") 
        
         #打开url 
        
         driver.get(url)

以上这篇Python实现爬虫设置代理IP和伪装成浏览器的方法分享就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/d1240673769/article/details/74295148 。

最后此篇关于Python实现爬虫设置代理IP和伪装成浏览器的方法分享的文章就讲到这里了,如果你想了解更多关于Python实现爬虫设置代理IP和伪装成浏览器的方法分享的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐：一些Centos Python 生产环境的部署命令(推荐)

文章推荐： PHP单例模式详解及实例代码

文章推荐： PHP+Mysql无刷新问答评论系统(源码)

文章推荐： Mybatis输入输出映射及动态SQL Review

java - 如何将 IE 浏览器 session 切换到 Chrome 浏览器 session ？
我的“登录”是在 IE 浏览器中进行的，登录后，如果我单击链接，它们就会在 Chrome 浏览器中打开。如何在同一个测试用例中将我当前的浏览器从 IE 切换到 Chrome。如果我创建一个 chrom
css - 在 Firefox 中，与 css 内容属性一起使用的特殊字符比在 Firefox 中更薄。浏览器/浏览器
您好，我不明白在 Firefox 的内容属性中使用的特殊字符的不同显示行为。我已经剥离了一切并创造了一支笔: http://codepen.io/rpkoller/pen/Fbgav 在其“基本形式”
java - Spring Data REST - HAL 浏览器 - 返回 HAL 浏览器 HTML 而不是 API 的根
我正在研究 Spring Data REST，特别是 HAL 浏览器。我一直在关注 http://docs.spring.io/spring-data/rest/docs/current/refere
Jquery if 浏览器
我正在使用工具提示，在 ie 上出现定位错误。我放了jquery浏览器代码我的工具提示 $('.tooltip').tooltip({ position: "bottom center"
javascript - bluebirdjs协程错误处理(浏览器)
我应该如何处理蓝鸟协程中的错误？我使用co in节点已有一段时间，它具有出色的捕获功能。 co(function*() { return new Promise(function(resol
JavaFX WebView 浏览器
package webviewbrowser; import java.util.List; import javafx.application.Application; import javafx.
javascript - 浏览器/JavaScript同源策略如何应用于二级域名？
我有一些 JavaScript 在同一域上的两个独立服务器之间共享请求。 .com 是 JavaScript 中域的要求吗？在这种情况下，两台服务器都位于 .abc.tyy 域上，tyy 通常是 .
JavaFX WebView 浏览器
package webviewbrowser; import java.util.List; import javafx.application.Application; import javafx.
构建以前版本的 Chromium 浏览器
我正在尝试构建仍支持 NPAPI 的先前版本的 Chromium 浏览器。我已经获得了代码，并且可以使用 stand build 命令在我的 mac 上构建最新版本的 Chromium gclient
python - Python 浏览器
我环顾四周，找不到 browscap 的 Python 等效项(我在 PHP 中使用它来检测给定的用户代理字符串是什么浏览器。我希望我不必自己写......:P 最佳答案看看这个，它应该做你想要的
javascript - 浏览器 - 文件编写器扩展？
是否有任何 chrome 或 firefox 扩展允许 javascript 在客户端 PC 中创建写入文件？最佳答案你想做什么？ HTML5 有一个 File API .这是最好的解决方案，因为
javascript - 浏览器/选项卡关闭检测时发出警报
当我点击链接或刷新或关闭标签页时，我有这段代码会发出警报。但我需要在关闭窗口(选项卡)上仅发出警报。怎么做？我的网站上有很多外部和内部链接。
javascript - Angular +浏览器
我目前正在尝试使用 Browserify + Angular，但我遇到了一个奇怪的问题。我在我的 Controller 的子目录中创建了一个名为 controllers/start-controlle
testing - 响应式布局针对哪些设备/浏览器
我正在为客户(项目已被接受，但现在是解释不同功能的问题)写一份详细的估算，以开发一个响应式布局的网站。这不是我第一次进行此类开发，但这是一个关键客户，必须铺平道路。布局将从 300px 宽度调整到
css - 浏览器/网络邮件客户端中的默认打印样式
我在时事通讯上设计了一些黑底白字。由于时事通讯在打印时看起来不错且可读。我需要使布局和文本与浏览器中的内容相似。通常情况下，黑色文本和无背景颜色是浏览器/网络邮件客户端的默认打印样式吗？最佳答案
Android 浏览器 - 无法将输入文本从白色更改为黑色
我有一个使用 GWT/mGWT 构建的移动友好网络应用程序。该应用程序有白色输入文本框和深灰色输入文本。但是，在 Android 浏览器上，文本显示为白色，因此是不可见的。我尝试的所有 CSS 都无法
javascript - 浏览器 - 强制重新加载删除cookie？
我创建了一个带有选择输入的页面来更改正在使用的 jQuery UI 主题。当主题更改时，它会存储在 cookie 中。页面加载时，如果 cookie 存在，则恢复主题，否则加载默认主题。当我使用 F
css - 浏览器/渲染引擎如何知道在哪里连接单词？
在我的 CSS 中，我使用了以下代码片段: word-break: break-word; -webkit-hyphens: auto; hyphens: auto; 渲染引擎如何知道在所有不同语言中
CSS WordPress 浏览器
我的网络浏览器 Safari 有问题，我在 Chrome、FireFox 中测试了我的网站。 Safari 版本也是正确的，但是，当需要在 1920x1080 或更高分辨率下对其进行测试时，它无法正常
PHP headless 浏览器？
就目前情况而言，这个问题不太适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持，但这个问题可能会引发辩论、争论、民意调查或扩展讨论。如果您觉得这个问题可以改进并可能重新开放，visit

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

Python实现爬虫设置代理IP和伪装成浏览器的方法分享