爬虫案例2-爬取视频的三种方式之一：requests篇(1)

转载作者：撒哈拉更新时间：2024-09-09 23:31:31

60

4

@ 。

前言
爬虫步骤
- 确定网址，发送请求
- 获取响应数据
- 对响应数据进行解析
- 保存数据
完整源码
共勉
博客

前言

本文写了一个爬取视频的案例，使用requests库爬取了好看视频的视频，并进行保存到本地。后续也会更新selenium篇和DrissionPage篇。当然，爬取图片肯定不止这三种方法，还有基于python的scrapy框架，基于node.js的express框架以及基于Java的webmagic框架等等.

爬虫步骤

确定网址，发送请求

我们打开我们需要爬取的网站后，按f12进行检查，因为页面采用的懒加载，所以我们需要往下滑加载新的视频，这时候就会出现新的数据包，这个数据包大概率就是这些新视频加载出来的来源，我们也可以在下图中的①中搜索视频数据包中可能出现的内容，例如视频的后缀，如MP4，m4s，ts等，然后再从中筛选正确的数据包，这个可能就需要有一定的经验。当我们往下滑刷新的时候，再②中就会加载出新的数据包，点击数据包后，就会出现右边的窗口，在③标头中会看到我们要请求的url地址，以及cookie和一些加密后参数。代码如下。

import requests # 数据请求模块
url='https://haokan.baidu.com/haokan/ui-web/video/feed?time=1723964149093&hk_nonce=915ae0476c308b550e98f6196331fd2a&hk_timestamp=1723964149&hk_sign=93837eec50add65f7ca64a95fb4eb8de&hk_token=aRYZdAVwdwNwCnwBcHNyAAkNAQA'  # 请求地址
headers={
    # UA伪装
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'
}
html=requests.get(url,headers=headers)

获取响应数据

在响应里我们可以看到响应的json数据，里面有封面照片地址，标题，视频地址等等，我们只需要获取其中的图片名字（title）和图片地址（previewUrlHttp）即可.

respnose=html.json()

对响应数据进行解析

json数据是字典，所以我们只需要取其中的键就可以了.

data=html['data']['apiData']         # 取照片地址
for li in data:
    video_name=li['title']     # 照片名字
    video_url=li['previewUrlHttp']   # 照片地址

保存数据

获取到图片的url后只需要再对url进行请求，获取二进制数据，然后进行保存到本地.

video=requests.get(video_url,headers=headers).content   # 对照片地址进行发送请求，获取二进制数据
    with open('./videos/'+video_name+'.mp4','wb') as f:        # 保存视频
        f.write(video)

完整源码

import requests  # 数据解析模块
import os   # 文件管理模块

if not os.path.exists("./videos"):  # 创建文件夹
    os.mkdir("./videos")
url='https://haokan.baidu.com/haokan/ui-web/video/feed?time=1723964149093&hk_nonce=915ae0476c308b550e98f6196331fd2a&hk_timestamp=1723964149&hk_sign=93837eec50add65f7ca64a95fb4eb8de&hk_token=aRYZdAVwdwNwCnwBcHNyAAkNAQA'  # 请求地址
headers={
    # UA伪装
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'
}
html=requests.get(url,headers=headers).json()
data=html['data']['apiData']         # 取照片地址
for li in data:
    video_name=li['title']     # 照片名字
    video_url=li['previewUrlHttp']   # 照片地址
    video=requests.get(video_url,headers=headers).content   # 对照片地址进行发送请求，获取二进制数据
    with open('./videos/'+video_name+'.mp4','wb') as f:        # 保存视频
        f.write(video)
        print(video_name+'.mp4')

多页爬取的就要多去观察数据包，有什么规律，再这个案例中，就涉及到了时间戳js加密.

共勉

少就是多慢就是快。

博客

本人是一个渗透爱好者，不时会在微信公众号（laity的渗透测试之路）更新一些实战渗透的实战案例，感兴趣的同学可以关注一下，大家一起进步。
- 之前在公众号发布了一个kali破解WiFi的文章，感兴趣的同学可以去看一下，在b站（up主:laity1717）也发布了相应的教学视频。

最后此篇关于爬虫案例2-爬取视频的三种方式之一：requests篇(1)的文章就讲到这里了,如果你想了解更多关于爬虫案例2-爬取视频的三种方式之一：requests篇(1)的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

60

4

0

文章推荐：代码整洁之道--读书笔记(6)

java - Eclipse 视频 Intent 视频
我对此很陌生，我在这里的论坛上检查过答案，但我没有找到任何真正可以帮助我的答案。我正在尝试播放 res/raw 文件夹中的视频。到目前为止我已经设置了这段代码: MediaPlayer mp; @Ov
javascript - 视频，表单，然后是 html 视频
我可以播放一个视频剪辑，检测视频的结尾，然后创建一个表单，然后播放另一个视频剪辑。我的问题是，表单 react 不正确，我创建了带有提交按钮和两个单选按钮可供选择的表单。我希望让用户进行选择，验证响应
python - web2py 网站不加载所有图像/视频(尤其是较大的图像/视频)
首先，我必须说我在web2py讨论组中看到过类似的内容，但我不太理解。我使用 web2py 设置了一个数据库驱动的网站，其中的条目只是 HTML 文本。其中大多数将包含 img和/或video指向相
android - 视频 View 不播放 youtube 视频
我正在尝试在视频 View 中播放 YouTube 视频。我将 xml 布局如下: 代码是这样的: setContentView(R.layout.webview); VideoV
android - 如何在 Android 视频 View 中播放 Youtube 视频？
我正在开发一个需要嵌入其中的 youtube 视频播放器的 android 应用程序。我成功地从 API 获得了 RTSP 视频 URL，但是当我试图在我的 android 视频 View 中加载这个
javascript - 使用 YouTube 视频 ID 访问 YouTube 视频 URL
我目前正在从事一个使用 YouTube API 的网络项目。我完全不熟悉 API。所以每一行代码都需要付出很多努力。使用以下代码，我可以成功检索播放列表中的项目: https://www.goog
php - 使用 PHP、视频 ID 和 API key 删除 youtube 视频
是否可以仅使用视频 ID 和 key 使用 API V3 删除 youtube 视频？我不断收到有关“必需参数:部分”丢失的错误消息。我用服务器和浏览器 api 键试了一下这是我的代码: // $yo
python - 使用 RegEx 从字符串中获取 YouTube 视频 url 或 YouTube 视频 ID
所以我一直坚持这个大约一个小时左右，我就是无法让它工作。到目前为止，我一直在尝试从字符串中提取整个链接，但现在我觉得只获取视频 ID 可能更容易。 RegEx 需要从以下链接样式中获取 ID/URL，
javascript - 在 Angular js 中嵌入来自 json 响应的 Youtube 视频 url 和 Vimeo 视频 url 时的问题
var app = angular.module('speakout', []).config( function($sceDelegateProvider) {
Android如何从xml中识别音频/视频？
我正在努力从 RSS 提要中阅读音频、视频新闻。我如何确定该 rss 是用于新闻阅读器还是用于音频或视频？这是视频源:http://feeds.cbsnews.com/CBSNewsVideo 这是
如何用python反转图片,视频
利用python反转图片/视频准备：一张图片/一段视频 python库：pillow,moviepy 安装库 ?
HTML5 视频 - 双击全屏
我希望在用户双击视频区域时让我的视频全屏显示，而不仅仅是在他们单击控件中的小图标时。有没有办法添加事件或其他东西来控制用户点击视频时发生的情况？谢谢! 最佳答案按照 Musa 的建议，附
PHP转换图像+音频=视频
关闭。这个问题需要更多 focused .它目前不接受答案。想改进这个问题？更新问题，使其仅关注一个问题 editing this post . 7年前关闭。 Improve this questi
本地服务器上的 HTML5 视频
我有一个公司培训视频加载到本地服务器上。我正在使用 HTML5 的视频播放来观看这些视频。该服务器无法访问网络，但我已加载 apache 并且端口 8080 对同一网络上的所有机器开放。这些文件位于
ffmpeg - 使用ffmpeg混合不同长度的音频/视频
我想混合来自 video.mp4 的视频(时长 1 分钟)和来自 audio.mp3 的音频(10 分钟持续时间)到一个持续时间为 1 分钟的输出文件中。来自 audio.mp3 的音频应该是从 4
c# - 如何通过互联网向多个客户端发送音频/视频？
关闭。这个问题需要更多 focused .它目前不接受答案。想改进这个问题？更新问题，使其仅关注一个问题 editing this post . 8年前关闭。 Improve this questi
javascript - 视频/音频通信
我正在尝试使用 peer/getUserMedia 创建一个视频 session 网络应用程序。目前，当我将唯一 ID 发送到视频 session 时，我能够听到/看到任何加入我的 session
video - 视频/列表统计信息多久更新一次？
考虑到一段时间内的观看次数，我正在评估一种针对半自动脚本的不同方法，该脚本将对视频元数据执行操作。简而言之，只要视频达到指标中的某个阈值，就说观看次数，它将触发某些操作。现在要执行此操作，我将不得
html - 适用于YouTube的HTML5 <视频>
我正在通过iBooks创建专门为iPad创建动态ePub电子书的网站。它需要支持youtube视频播放，所以当我知道视频的直接路径时，我正在使用html5 标记。有没有一种使用html5 标签嵌入
android - 如何在Webview中显示Youtube网站/视频？
我对Android不熟悉，我想浏览youtube.com并在Webview内从网站显示视频。当前，当我尝试执行此操作时，将出现设备的浏览器，并让我使用设备浏览器浏览该站点。如果Webview不具备这种

首页

博学

6Ren·AI

商城