gpt4 book ai didi

python使用自定义user-agent抓取网页的方法

转载 作者:qq735679552 更新时间:2022-09-29 22:32:09 27 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章python使用自定义user-agent抓取网页的方法由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下:

下面python代码通过urllib2抓取指定的url的内容,并且使用自定义的user-agent,可防止网站屏蔽采集器 。

?
1
2
3
4
5
import urllib2
req = urllib2.Request( 'http://192.168.1.2/' )
req.add_header( 'User-agent' , 'Mozilla 5.10' )
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助.

最后此篇关于python使用自定义user-agent抓取网页的方法的文章就讲到这里了,如果你想了解更多关于python使用自定义user-agent抓取网页的方法的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com