快速一键生成Python爬虫请求头-6ren

快速一键生成Python爬虫请求头

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

25

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章快速一键生成Python爬虫请求头由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

今天介绍个神奇的网站！堪称爬虫偷懒的神器！。

我们在写爬虫，构建网络请求的时候，不可避免地要添加请求头( headers )，以 mdn 学习区为例，我们的请求头是这样的:

快速一键生成Python爬虫请求头

一般来说，我们只要添加 user-agent 就能满足绝大部分需求了，Python 代码如下:

import requestsheaders = { #"authority": "developer.mozilla.org", #"pragma": "no-cache", #"cache-control": "no-cache", #"upgrade-insecure-requests": "1", "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36", #"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3", #"accept-encoding": "gzip, deflate, br", #"accept-language": "zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6", #"cookie": 你的cookie,}response = requests.get("https://developer.mozilla.org/zh-CN/docs/learn", headers=headers)

但是有些请求，我们要把特定的 headers 参数添加上才能获得正确的网络响应，不知道哪个参数是必要的情况下，就要先把所有参数都添加上，再逐个排除.

但是手动复制粘贴 headers 字典里的每一个键值对太费事了。

一个不那么方便的解决方案：

用正则表达式或者直接字符串替换，把 headers 字符串直接转化为字典，封装成函数方便以后反复调用.

有的人喜欢用这种方法，每次复制headers信息，然后调用自己封装好的函数，但我觉得还是挺麻烦的.

那么还有没有快速一键生成 Python 爬虫请求头的方法呢？这里给大家介绍两个:

网站在线转换
Postman

实战演练

抓取网站：https://developer.mozilla.org... 。

网站在线转换

1，Chrome 打开开发者选项（ f12 ）---> network 选项卡 ---> 刷新页面,获取请求 ---> 找到页面信息对应的请求 (通过请求的名称、后缀和 response 内容来判断) 。

快速一键生成Python爬虫请求头

2，右键，copy ---> copy as cURL (bash)，注意不是【copy as cURL (cmd)】。

快速一键生成Python爬虫请求头

3，打开网站，https://curl.trillworks.com/，粘贴 cURL (bash) 到左边 curl command，右边会自动出 Python 代码。

快速一键生成Python爬虫请求头

4，生成代码如下图。

快速一键生成Python爬虫请求头

5，print ( response.text ) 就可以直接打印网页源代码啦！。

Postman

1，下载 postman ( Chrome 也有个 postman 的插件，操作应该差不多) 。

2，打开 postman，弹出的界面可以直接关掉。

快速一键生成Python爬虫请求头

3，import --> paste raw text，在 Chrome 里复制 curl (bash)，粘贴到下面的对话框里，点击 import 按钮。

快速一键生成Python爬虫请求头

4，点击 send，模拟网络请求，下方可查看源代码。

快速一键生成Python爬虫请求头

5，确保源代码正常后，点击 code 。

快速一键生成Python爬虫请求头

6，左上角可以选择编程语言，右上角复制到剪贴板。

快速一键生成Python爬虫请求头

大功告成！。

其实我本人平时都是用第一种，网站比较稳定，基本没出现过异常；有了这个神器就不用自己再构造请求头了，先一键生成，然后再根据需求调一调就好了，几秒钟就搞定了.

以上就是快速一键生成Python爬虫请求头的详细内容，更多关于快速一键生成Python爬虫请求头的资料请关注我其它相关文章！。

原文链接：https://www.cnblogs.com/zhangdingqu/p/14392716.html 。

最后此篇关于快速一键生成Python爬虫请求头的文章就讲到这里了,如果你想了解更多关于快速一键生成Python爬虫请求头的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

25

4

0

文章推荐： Pytorch之扩充tensor的操作

文章推荐：为什么你还不懂得怎么使用Python协程

文章推荐： 10个顶级Python实用库推荐

快速/更改循环中变量的名称
如何更改循环中变量的名称？比如 number1 、 number2 、 number3 、 number4 ？ var array = [2,4,6,8] func ap ( number1: Int
iOS延迟更改背景颜色(快速)
我想设置 View 的背景颜色并在一定延迟后将其更改为另一种颜色。这是我的尝试方式: print("setting color 1") self.view.backgroundColor = UICo
快速 session 在请求之间不持久
我在使用 express-session 时遇到问题。 session 数据不会在请求之间持续存在。正如您在下面的代码中看到的那样，/join 路由设置了一些 session 属性，但是当 /sur
快速 Steam 叶环
我试图从叶渲染器获得一个非常简单的结果，用于快速 Steam 的 for 循环。我正在上传叶文件 HTML，因为它不接受此处格式正确的代码 - 下面的pizza.swift代码- import
performance - 快速、简单的程序员编辑器
你们中有人有什么好的链接可以与我分享吗？我正在寻找一个 FAST 程序员编辑器，它可以非常快速地打开包含超过 100, 000 行代码的文件？我目前正在使用记事本自动取款机，打开一个 29000 行长
r - 快速、高效地循环数百万行并匹配列
我现在正在处理眼动追踪数据，因此拥有一个巨大的数据集(想想数百万行)，因此希望有一种快速的方法来完成此任务。这是它的简化版本。数据告诉您眼睛在每个时间点正在查看的位置以及我们正在查看的每个文件。 X
ios - 选择提示音-快速
我是新手，想为计时器或其他设备选择提示音。如何打开此列表，以选择其中一种声音？ Alert sound list 最佳答案您将无法在应用中使用系统声音。但是，您可以包括自己的声音文件，并将其显示
arrays - 将顺序字符串构建到数组中(快速)
我编写了以下代码来构建具有顺序字符串的数组。它的工作方式与我预期的一样，但我希望它能更快地运行。有没有更有效的方法在PowerShell中产生我想要的结果？我是PowerShell的新手，非常感谢
r - 快速、简洁地生成唯一矩阵行的有序频率计数的方法
我有一个包含一些非唯一行的矩阵，例如: x 尝试 y <- rle(apply(x, 1, paste, collapse = " ")) # y$lengths is the vector con
ios - 键盘打开时移动菜单(快速)
我的函数“keyboardWillShown”有问题。所以我想要的是菜单打开时，菜单正好出现在键盘上方。它可以在Iphone 8 plus，8、7、6上完美运行。但是，当我在模拟器上运行Iphone
ios - 第二次API调用后应用崩溃(快速)
我正在尝试通过Swift 5中的HTTP get方法从API提取数据。它在启动时成功加载了数据，但是当我刷新页面时，它说“索引超出范围”，这是因为数据是不再会在我的日志中读取，因此索引中没有任何内容。
ios - 将时间戳转换为其他时区(快速)
我想做什么: 从我的数据库中获取时间戳并将其转换为用户的时区。我的代码: let tryItNow = "\(model.timestampName)" let format = D
ios - 查找字符串的宽度(快速)
给定字体名称和字体大小，如何查找字符串的宽度(CGFloat)？ (目标是将UIView的宽度设置为足以容纳字符串的宽度。) 我有两个字符串:一个重复“1”，重复36次，另一个重复“M”，重复36次。
ios - JSON解析(快速)
我正在尝试解析此JSON ["Items": ( { AccountBalance = 0; AlphabetType = 3; Description = "\U0631\U
ios - 根据自动布局更改UILabel中的字体大小(快速)
我在UINavigationBar内放置了一个UILabel。我想根据navigationBar的高度增加该标签的字体大小。当navigationBar很大时，我希望字体大小更大；当滚动并缩小nav
ios - 消除数字中的多个小数点(快速)
我想将用户输入限制为仅有效数字并使用以下内容: func textView(_ textView: UITextView, shouldChangeTextIn range: NSRange, rep
C# - 图像比较(快速)
目前我有一个包含超过 100.000 张图像的数据库，它们大小不一或类似，但我想为我的公司制作以下内容: 我插入/上传一张图片，系统返回最有可能相同的图片。我不知道使用什么算法，但它需要快速。我可以预
ios - 按下按钮时发生的操作 - 快速
在我的 swift 项目中，我有一个按钮，我想在标签上打印按下该按钮的时间。如何解决这个问题？最佳答案添加到DHEERAJ的答案中，您只需在func press(sender: UIButton
arrays - 我想从解析加载数组数据(快速)
我必须发表评论，尝试在解析中导入数组。然而，有一个问题。当我尝试从 Parse 加载数组时，我的输出是 ("Blah","Blah","Blah")这是一个元组...而不是一个数组 TT... 如何
swift - 简化嵌套 if 快速
我的应用程序有一个名为 MyDevice 的类，我用它来与硬件通信。该硬件是可选的，实例变量也是可选的: var theDevice:MyDevice = nil 然后，在应用程序中，我必须初始化设备

首页

博学

6Ren·AI

商城