Python使用UDP实现720p视频传输的操作-6ren

Python使用UDP实现720p视频传输的操作

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

25

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python使用UDP实现720p视频传输的操作由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

1. 项目背景

视频传输: 在一台电脑上播放视频（捕捉摄像头画面），同局域网内另一台电脑上实时播放，尽量不卡顿.

先放最后的照片，和用gif展示一下视频效果.

Python使用UDP实现720p视频传输的操作

传输视频可以采取图片或者流的形式，本文采取传输图片的形式，在1s之内显示多张图片从而形成连续的视频画面.

经费有限，所有实验均基于笔记本电脑.

使用的视频源是本机摄像头，以及进击的巨人720p资源.

2. 解决方案

1. 使用python的socket，使用opencv捕捉摄像头/视频的画面.

2. 原始的图片很大（720p的大小是1920*1080*3），整图就算压缩成jpg格式其大小也非常大。而udp最大只能传输65535字节大小的数据区，故对图片进行分块，分块过后的数据压缩成jpg格式，并对图片分块数据进行编号.

3. 实验检测表明，本文实验环境发送端不需要使用发送队列，基本上新生成的帧很快就能被socket传输掉.

4. 接收端使用多线程接收，每个线程是一个socket，接收过后的数据存储于数据片池.

5. 接收端另开一个线程，用于反复从数据片池读取数据片，根据数据片的编号更新幕布，这里幕布是专门用于图像显示的一个数组，其维度是720p（1920*1080*3）。更新过后的结果暂存于图片池。

6. 主线程反复从图片池读取图片，并显示.

3. 实现细节

3.1 tcp/udp的选择

为了实现低延迟，毫无疑问选取无连接的udp传输.

3.2 图片分片算法

这里其实也谈不上什么算法，就是将图片水平分割。这种做法的好处在于，分割后图片的编号可以和区域一一对应。本文没有探索更为复杂的图片分片算法.

Python使用UDP实现720p视频传输的操作

经过处理，图片变为一个个分片，如下:

Python使用UDP实现720p视频传输的操作

对上述图片进行编号，很显然可以编号0,1,2,3，对于任意分块（例如2）在图像数组中对应的区域是frame[2*piece_size:(2+1)*piece_size]，其中piece_size表示一片数据的大小.

这种对应关系方便解压后的图像还原操作.

3.3 jpg压缩

这其实是个很小的技术点，因为使用的压缩算法都是现成的。但是值得一提的是，jpg的压缩率是真的高，在实验数据上实现了10-20倍的压缩率.

使用了多线程压缩，压缩完过后，更新对应的桶，这里的桶实际上就是数据片.

Python使用UDP实现720p视频传输的操作

由主线程main thread反复从桶里取数据片(t1)，每取1片发送一次，然后再取下一片（t2），直到所有桶都被取了一次（例子中有10片）.

至此，一张图片的分片数据被全部取完，于是开始统计一些fps相关信息.

3.4 接收队列

接收端开了10个线程用于异步socket接收数据片.

为了保证接收端产生丝滑的视频效果，使用接收队列是个不错的选择。本文使用了2个队列的设计。实现数据接收的二级缓冲。示意图如下:

Python使用UDP实现720p视频传输的操作

这样一来，视频效果明显丝滑了很多.

4. 遇到的坑及解决办法

4.1. windows防火墙

巨坑，最好都关了.

Python使用UDP实现720p视频传输的操作

4.2. 路由器网络频段

同一台路由器的5g和2.4g频段有时候不能互相ping通，要确保两个电脑连接在同一频段上.

4.3. wifi配置

如果上述设置都对了，但是还是ping不通。将wifi连接设置成专用网络，也许就能解决问题.

Python使用UDP实现720p视频传输的操作

4.4. 硬件瓶颈

个人pc的性能是较大瓶颈，尤其是单机测验的时候（本地两个终端，一个发送、一个接收），cpu使用率分分钟到100%。听某个技术大哥说要使用gpu压缩.

Python使用UDP实现720p视频传输的操作

用两台电脑，一台接收一台发送之后，效果要好很多.

4.5. opencv读取摄像头大坑

由于摄像头驱动的关系，在我的电脑上需要设置以下两个变量，才能成功启用外置的720p摄像头.

 
    ? 
   
         os.environ[ 
         "opencv_videoio_debug" 
         ]  
         = 
         "1" 
        
         os.environ[ 
         "opencv_videoio_priority_msmf" 
         ]  
         = 
         "0"

即使如此，如果不做额外的设置，读出来的图片将是480p的（看起来很像是720p被压缩过后的）。所以如果要传输真·720p，还需要设置读出的图像大小，如下:

 
    ? 
   
 
     
       
       
         self 
         .stream  
         = 
         cv2.videocapture( 
         1 
         )  
         # 读取第一个外置摄像头 
        
 
         self 
         .stream. 
         set 
         (cv2.cap_prop_frame_width,  
         1280 
         )    
         # float 
        
 
         self 
         .stream. 
         set 
         (cv2.cap_prop_frame_height,  
         720 
         )    
         # float 
        
 
     
 
   

4.6. socket卡顿

不知道是不是我写的有问题，感觉多线程的socket会争抢资源（发送和接收的线程间，对应5.1节功能），造成接收端的画面显示将变得卡顿.

5. 尚未bug free的功能

5.1 使用tcp回传帧率信息

为了计算网络时延，采取类似伽利略测光速的方法。从数据包打包之前，到对方收到数据包之后，再将这个数据回传到发送方.

这样就不存在两台机器时间差校准的问题.

该算法的大致流程如下图所示.

Python使用UDP实现720p视频传输的操作

这种计算方式应该是自己的实验环境下比较准确的方法了.

时延信息的反馈不需要特别快（比如200-500ms发送一次），所以使用tcp技术。

其实tcp和udp在使用python编程的时候代码差距可以说极小… 。

但是！！！。

自己目前在实现信息回传的时候，会莫名卡顿起来.

接收端建立回传的socket之后，甚至还没传输数据，整个程序运行起来就变得非常卡顿，这个让我比较苦恼，目前正在找bug. 。

5.2 拥塞控制（流量控制）的算法

这部分的思想是流量控制，感谢评论区指正.

5.1节如果一并回传接收端队列状态信息。如果接收端队列太满，说明来不及处理视频帧了，从而对发送端的发送速度进行控制，才是“拥塞控制” 。

这个本来是想着和5.1综合起来用的，已经写好了，但是还没能真正展现价值，设计是否合理也值得商榷.

控制的是发送端的发送频率，从而实现接收端的流畅播放。

思想和tcp的拥塞控制一样慢增长，快下降。如果接收端的队列一直处于较空的状态，则表明还有一定的性能剩余，此时可以缓慢加快发送的频率；如果检测到接收端队列中数据较多，表明发送速度太快来不及显示，这时候就大幅下降发送的频率.

这个拥塞控制的算法基于几个假设:

1.网络情况良好，丢包率比较低；。

2接收端电脑的性能足够高，来得及处理解包、显示图像.

如果5.1能够正确实现，则应该根据网络时延的大小来控制发送的频率.

6. 总结

这个项目是一周的时间内完成的，目前还有点bug。小组内的成员分别在不同技术方向上进行了探索，收获都还挺大的。这篇博客就当一个项目总结吧，写的难免有纰漏之处.

github地址：https://github.com/820fans/udp-video-transfer 。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我。如有错误或未考虑完全的地方，望不吝赐教.

原文链接：https://blog.csdn.net/u013033845/article/details/86765598 。

最后此篇关于Python使用UDP实现720p视频传输的操作的文章就讲到这里了,如果你想了解更多关于Python使用UDP实现720p视频传输的操作的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

25

4

0

文章推荐：构建HarmonyOS 3D游戏

文章推荐： 2022微信红包封面序列号免费领取微信红包封面2022免费领取时间

文章推荐： Kafka 的生产者与消费者机制+分区策略，你这还不懂？

文章推荐： python通配符之glob模块的使用详解

c - while(*p){p++;}、while (*++p){;} 和 while(*p++){;} 有什么区别？
关于strcat函数。 while (*p) p++; 和 while (*++p) ; 两者都有效，但是 while (*p++) ; 不起作用。我认为 first 和 th
What is "
" in HTML?(HTML中的““是什么
？)
下面例子中的第一行代码是什么。我看到一个YouTuber在写下面的代码，它显示了一个设计在csswar Challenges中。我也尝试了一下，它很管用。但我以前从未在任何HTML教程上看到过它，我在
html - 处理不间断空格 :

vs.

是不间断空格，表示没有换行的空白处。如果我用我在两个段落之间有一个空格(更大的间隔)。如果我使用我在两个段落之间只有一个新行(没有中断)。为什么？最佳答案在 HTML 中
字符* p = "hello"; printf ("%c %c %c %c", *p, *++p, *p++, *p);
这个问题已经有答案了: Why are these constructs using pre and post-increment undefined behavior? (14 个回答) 已关闭 9
c - "for ( ; *p;++p) *p = tolower(*p);"在 c 中如何工作？
我对编程还很陌生，只是想知道为什么这段代码: for ( ; *p; ++p) *p = tolower(*p); 当 p 指向一个字符串时，可以降低 c 中字符串的大小写吗？最佳答案一般来说，这
c - 为什么对于指针 *p，p[0] 是存储在 p 的地址而 p[1] 是 p 本身的地址？
代码 int n = 25; int *p = &n; printf("%x\n %d\n %x\n", p, p[0], p[1]); 返回: \ 当然我永远不会这样做，但在 K&R 中声明
python - 考虑到 p 在 python 中是素数，当我执行 p/p+1 + p+1/p 操作时出错
所以，我想创建一个简单的程序，返回有关连续素数的计算结果。首先，我创建一个包含所有这些素数的列表，然后尝试计算结果，但这给了我一个超出范围的索引。有人可以帮助我吗？我的程序: primes = []
c++ - C/C++ 中 p[i] 、 i[p] 和 *(p+i) 、 *(i+p) 的区别
这个问题在这里已经有了答案: With arrays, why is it the case that a[5] == 5[a]? (20 个答案) 关闭 9 年前。我想知道 C/C++ 中以下四
C++ - *p vs &p vs p
我仍在努力理解 *p、&p 和 p 之间的区别。根据我的理解，* 可以被认为是“指向的值”，而 & 可以被认为是“地址”。换句话说，* 保存值，而 & 保存地址。如果这是真的，那么 *p 和 p 之间
java - 需要更换
你是吗？ [xxxrecipientFirstNamexxx]
和
你是吗？ {recipientFirstName}

需要更换你是吗？ [xxxrecipientFirstNamexxx] 和你是吗？ {recipientFirstName} 。我尝试使用边界匹配器。但结果并不符合预期。我尝试使用下面的代码 "A
c# - query = query.OrderBy(p => p.IsTop).ThenOrderByDescending(p => p.JobId)?
我想按 IsTop 属性升序排序对象，然后按 JobId 属性降序排序: query = query.OrderBy(p => p.IsTop).ThenOrderByDescending(p =
java - Apache POI 数据格式化程序无法应用自定义格式 "0.0 p.p.;(0.0 p.p.)"
在我尝试使用 Apache POI 进行转换的 Excel 文件中，我有一个单元格的数值为 -3.97819466831428，自定义格式为“0.0 p.p.;(0.0 p.p.)”。因此，在 Exc
c# - 如何创建一个扩展方法，允许我调用 ToSerializableDictionary(p => p.ID) 而不是 .ToDictionary(p => p.ID)
我想创建一个扩展方法，允许我调用 ToSerializableDictionary(p => p.ID)而不是 .ToDictionary(p => p.ID)在以下 LINQ 上下文中。虽然我不确定
javascript - $ ("p").each(function (){}) vs for( p in $ ("p") 返回不同的段落数值
在下面的 HTML 代码上运行此 jQuery 代码会返回不同的结果，我认为它们应该返回相同的值。 jQuery 代码: var counter = 0; $("p").each(function()
c++ - 我在哪里可以找到标准中对 *p 和 p[0]、*(p+1) 和 p[1]、... 之间等价关系的引用？
在下面的代码片段中，符号 *p 等同于 p[0]，*(p + 1) 等同于p[1]，依此类推。 int* p = new int[3] { 1, 2, 3}; cout << *p << ' ' <<
c++ - Foo *p = 0;p->p() 如何有效？
这个问题在这里已经有了答案: What will happen when I call a member function on a NULL object pointer? [duplicate]
c - "p = p + (*p)++ * 3 + c;"会导致未定义的行为吗？
这个问题在这里已经有了答案: 关闭 10 年前。 Possible Duplicate: Undefined Behavior and Sequence Points 按照标准中的定义，E1 +=
What is "
" in HTML?(在HTML中“
”是什么？)
以下示例中的第一行代码是什么。我看到一个youtube用户写下面的代码，它显示在cssbattle挑战的设计。我也试过，它的作品。但我从来没有见过它在任何HTML教程之前，我在谷歌上搜索它，但它只显示
php - < o : p > & nbsp ; display error
每当我收到来自 MS outlook 的电子邮件时，我都会收到此标记 & nbsp ; (没有空格)哪个显示为？在 <>. 当我将其更改为 ISO-8859-1 时，浏览器页面字符集编码为 UTF-8
python - 获取标签之间的字符串(
p1
TEST
p2
中的 TEST)
代码: from bs4 import BeautifulSoup soup = BeautifulSoup('p1TESTp2') print soup.div() 结果: [p1, p2] 为什么

首页

博学

6Ren·AI

商城