个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
27
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章python通过伪装头部数据抵抗反爬虫的实例由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
0x00 环境 。
系统环境:win10 。
编写工具:JetBrains PyCharm Community Edition 2017.1.2 x64 。
python 版本:python-3.6.2 。
抓包工具:Fiddler 4 。
0x01 头部数据伪装思路 。
通过http向服务器提交数据,以下是通过Fiddler 抓取python没有伪装的报文头信息 。
|
1
2
3
4
5
|
GET /u012870721 HTTP/1.1
Accept-Encoding: identity
Host: blog.csdn.net
User-Agent: <
span
style
=
"color:#ff0000;"
>Python-urllib/3.6</
span
>
Connection: close
|
Python-urllib/3.6 。
很明显啊，我们暴露了。现在要问了，该怎么！模拟浏览器，让自己伪装成浏览器，一下是浏览器访问发送的头部数据 。
|
1
2
3
4
5
6
|
Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
Referer: http://write.blog.csdn.net/postlist
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.8
|
0x02代码实现 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
from urllib import request
html_url = "http://blog.csdn.net/u012870721";
#伪装构造头
header ={
"Connection": "keep-alive",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36",
"Accept":" text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
"Accept-Encoding": "gzip,deflate",
"Accept-Language": "zh-CN,zh;q=0.8"
};
#int main()
#{
req = request.Request(url=html_url, headers=header);
resp = request.urlopen(req);
# return 0;
# }
|
伪装后进行发送的信息头 。
|
1
2
3
4
5
6
7
8
|
GET /u012870721 HTTP/1.1
Host: blog.csdn.net
Connection: close
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Accept-Encoding: gzip,deflate
Accept-Language: zh-CN,zh;q=0.8
|
以上这篇python通过伪装头部数据抵抗反爬虫的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.
原文链接：https://blog.csdn.net/u012870721/article/details/77750454 。
最后此篇关于python通过伪装头部数据抵抗反爬虫的实例的文章就讲到这里了,如果你想了解更多关于python通过伪装头部数据抵抗反爬虫的实例的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
这是一个已知问题，当您更新 Java、JDK 或 JRE 时，在 Windows 上 Eclipse 可能无法启动，因为它指向过时的 JDK/JRE 文件夹。修复相对简单，已在 here 等多个线程上
我使用 cookie 来实现“记住我”选项以在我的网站上登录。设置 cookie 工作正常。取消设置曾经有效。然后我制作了一个新版本的网站，带有httponly cookies；注销在本地主机上工作，
我是一名优秀的程序员,十分优秀！