个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python使用UDP实现720p视频传输的操作由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
视频传输: 在一台电脑上播放视频（捕捉摄像头画面），同局域网内另一台电脑上实时播放，尽量不卡顿.
先放最后的照片，和用gif展示一下视频效果.
传输视频可以采取图片或者流的形式，本文采取传输图片的形式，在1s之内显示多张图片从而形成连续的视频画面.
经费有限，所有实验均基于笔记本电脑.
使用的视频源是本机摄像头，以及进击的巨人720p资源.
1. 使用python的socket，使用opencv捕捉摄像头/视频的画面.
2. 原始的图片很大（720p的大小是1920*1080*3），整图就算压缩成jpg格式其大小也非常大。而udp最大只能传输65535字节大小的数据区，故对图片进行分块，分块过后的数据压缩成jpg格式，并对图片分块数据进行编号.
3. 实验检测表明，本文实验环境发送端不需要使用发送队列，基本上新生成的帧很快就能被socket传输掉.
4. 接收端使用多线程接收，每个线程是一个socket，接收过后的数据存储于数据片池.
5. 接收端另开一个线程，用于反复从数据片池 读取数据片，根据数据片的编号更新幕布，这里幕布是专门用于图像显示的一个数组，其维度是720p（1920*1080*3）。更新过后的结果暂存于图片池 。
6. 主线程反复从图片池读取图片，并显示.
为了实现低延迟，毫无疑问选取无连接的udp传输.
这里其实也谈不上什么算法，就是将图片水平分割。这种做法的好处在于，分割后图片的编号可以和区域一一对应。本文没有探索更为复杂的图片分片算法.
经过处理，图片变为一个个分片，如下:
对上述图片进行编号，很显然可以编号0,1,2,3，对于任意分块（例如2）在图像数组中对应的区域是frame[2*piece_size:(2+1)*piece_size]，其中piece_size表示一片数据的大小.
这种对应关系方便解压后的图像还原操作.
这其实是个很小的技术点，因为使用的压缩算法都是现成的。但是值得一提的是，jpg的压缩率是真的高，在实验数据上实现了10-20倍的压缩率.
使用了多线程压缩，压缩完过后，更新对应的桶，这里的桶实际上就是数据片.
由主线程main thread反复从桶里取数据片(t1)，每取1片发送一次，然后再取下一片（t2），直到所有桶都被取了一次（例子中有10片）.
至此，一张图片的分片数据被全部取完，于是开始统计一些fps相关信息.
接收端开了10个线程用于异步socket接收数据片.
为了保证接收端产生丝滑的视频效果，使用接收队列是个不错的选择。本文使用了2个队列的设计。实现数据接收的二级缓冲。示意图如下:
这样一来，视频效果明显丝滑了很多.
巨坑，最好都关了.
同一台路由器的5g和2.4g频段有时候不能互相ping通，要确保两个电脑连接在同一频段上.
如果上述设置都对了，但是还是ping不通。将wifi连接设置成专用网络，也许就能解决问题.
个人pc的性能是较大瓶颈，尤其是单机测验的时候（本地两个终端，一个发送、一个接收），cpu使用率分分钟到100%。听某个技术大哥说要使用gpu压缩.
用两台电脑，一台接收一台发送之后，效果要好很多.
由于摄像头驱动的关系，在我的电脑上需要设置以下两个变量，才能成功启用外置的720p摄像头.
|
1
2
|
os.environ[
"opencv_videoio_debug"
]
=
"1"
os.environ[
"opencv_videoio_priority_msmf"
]
=
"0"
|
即使如此，如果不做额外的设置，读出来的图片将是480p的（看起来很像是720p被压缩过后的）。所以如果要传输真·720p，还需要设置读出的图像大小，如下:
|
1
2
3
|
self
.stream
=
cv2.videocapture(
1
)
# 读取第一个外置摄像头
self
.stream.
set
(cv2.cap_prop_frame_width,
1280
)
# float
self
.stream.
set
(cv2.cap_prop_frame_height,
720
)
# float
|
不知道是不是我写的有问题，感觉多线程的socket会争抢资源（发送和接收的线程间，对应5.1节功能），造成接收端的画面显示将变得卡顿.
为了计算网络时延，采取类似伽利略测光速的方法。从数据包打包之前，到对方收到数据包之后，再将这个数据回传到发送方.
这样就不存在两台机器时间差校准的问题.
该算法的大致流程如下图所示.
这种计算方式应该是自己的实验环境下比较准确的方法了.
时延信息的反馈不需要特别快（比如200-500ms发送一次），所以使用tcp技术 。
其实tcp和udp在使用python编程的时候代码差距可以说极小… 。
但是！！！ 。
自己目前在实现信息回传的时候，会莫名卡顿起来.
接收端建立回传的socket之后，甚至还没传输数据，整个程序运行起来就变得非常卡顿，这个让我比较苦恼，目前正在找bug. 。
这部分的思想是流量控制，感谢评论区指正.
5.1节如果一并回传接收端队列状态信息。如果接收端队列太满，说明来不及处理视频帧了，从而对发送端的发送速度进行控制，才是“拥塞控制” 。
这个本来是想着和5.1综合起来用的，已经写好了，但是还没能真正展现价值，设计是否合理也值得商榷.
控制的是发送端的发送频率，从而实现接收端的流畅播放 。
思想和tcp的拥塞控制一样慢增长，快下降。如果接收端的队列一直处于较空的状态，则表明还有一定的性能剩余，此时可以缓慢加快发送的频率；如果检测到接收端队列中数据较多，表明发送速度太快来不及显示，这时候就大幅下降发送的频率.
这个拥塞控制的算法基于几个假设:
1.网络情况良好，丢包率比较低； 。
2接收端电脑的性能足够高，来得及处理解包、显示图像.
如果5.1能够正确实现，则应该根据网络时延的大小来控制发送的频率.
这个项目是一周的时间内完成的，目前还有点bug。小组内的成员分别在不同技术方向上进行了探索，收获都还挺大的。这篇博客就当一个项目总结吧，写的难免有纰漏之处.
github地址：https://github.com/820fans/udp-video-transfer 。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持我。如有错误或未考虑完全的地方，望不吝赐教.
原文链接：https://blog.csdn.net/u013033845/article/details/86765598 。
最后此篇关于Python使用UDP实现720p视频传输的操作的文章就讲到这里了,如果你想了解更多关于Python使用UDP实现720p视频传输的操作的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
我刚刚了解了 udp 校验和计算。 但我很困惑算法是否检测到所有错误。 最佳答案 当然不是。没有校验和可以检测到所有错误。 关于udp - UDP 校验和是否检测到所有错误？，我们在Stack Ove
下面这个函数有什么问题?? 它应该抛出错误，因为我没有在本地主机上运行 UDP 服务器。 int openUdpSocket(int port) { int sock,sin_size;
我正在尝试修改这两个程序。我想让 udpclient.c 能够接收消息并让 udpserver.c 将消息回显给客户端。我还想在 udpclient 发送消息之前先获取它们的时间标记消息。收到的消息应
我有相当简单的 UDP 服务器写在 c 上。 有时我需要知道在套接字中排队的所有 udp 数据包(字节)的当前长度。 据我了解，getsockopt 没有得到这样的信息。 欢迎使用 Linux 和 F
除了直播音乐/视频外，谁能告诉在哪里使用 UDP 协议(protocol)？ UDP 的默认用例是什么？ 最佳答案 其他任何您需要性能但如果数据包在途中丢失时可以生存的东西。例如，多人游戏浮现在脑海中
与 TCP 的监视方法相反，UDP 是否会在所有数据包可用时立即发送它们？ 谢谢。 最佳答案 TCP 有拥塞控制，UDP 没有，因为它是无连接的。 但是您的问题涉及多个问题:发送消息是否会导致立即发送
我知道 UDP 本质上是不可靠的，但是当连接到 localhost 时，我希望内核以不同的方式处理连接，因为一切都可以在内部处理。那么在这种特殊情况下，UDP 是否被认为是一种可靠的协议(protoc
我正在尝试使用 flash 和 rtmfp 协议(protocol)开发一个实时视频聊天应用程序，但我有疑问rtmfp 如何保证连接对等点，尤其是当对等点位于不同网络时。 最佳答案 RTMFP 依靠中
我发现所有使用 Netty 4.0 的 TCP 服务器实现都使用了 ServerBootstrap 实例。 The biggest and only difference between a serv
对于个人 MMO 游戏项目，我正在 java 中实现一个自制的可靠的基于 UDP 的协议(protocol)。鉴于我当前的设置，我相信窥探者劫持 session 相对简单，因此为了防止这种情况，我借此
我正在尝试手动计算各种 UDP 数据包的校验和，但与 Wireshark 中显示的结果相比，我总是得到错误的结果。下面是我如何做到这一点的示例: Source Address: 192.168.0.1
我正在尝试手动计算各种 UDP 数据包的校验和，但与 Wireshark 中显示的结果相比，我总是得到错误的结果。下面是我如何做到这一点的示例: Source Address: 192.168.0.1
我有一个奇怪的问题。我有一个成功运行的 C++ (boost asio) P2P 应用程序，它可以在大多数 NAT 上运行。问题是，当我将初始启动端口号指定为 1000 时，它会检查 1000 是否空
带有数据源的短 radio 链路，需要通过 IPv6 的 1280 Kbps 吞吐量，使用 UDP 停止和等待协议(protocol)，该区域内没有其他客户端或明显的噪声源。我到底如何才能计算出最佳数
似乎可以在没有有效负载的情况下发送 UDP 数据包。 我能想到的唯一不需要有效载荷的就是用于 NAT 打洞。 这还能用来做什么？ 这与我之前的问题有关Under Linux, can recv eve
我有一个客户端，我无法更改其代码 - 但我想(重新)使用 编写代码ZeroMQ socket 。 客户端同时使用原始 TCP 和原始 UDP socket 。 我知道我可以使用 ZMQ_ROUTER_
网络 4.0.24 我通过 UDP 传递 XML。收到 UPD 数据包时，数据包的长度始终为 2048，截断消息。尽管如此，我尝试将接收缓冲区大小设置为更大的值(4096、8192、65536)，但它
我正在尝试编写一个有关 UDP 连接的简单程序来了解它们。我已经实现了一些基本的事情，但是当我尝试发送并取回我发送的内容时，我遇到了一些问题，例如， 当我这样做时；发送一个字符串 “asd”到服务器我
当我检查时，我在 UDP 客户端每 100 毫秒从服务器发送 UDP 数据包 接收频率不等于 100 毫秒，有时它要少得多，例如 3 毫秒…10 毫秒。 我知道UDP client server是异步
海友我是一个学习winsock2的新手。以下是我的udp服务器和客户端程序。 我这个程序客户端不知道服务器的IP地址，只知道端口。但是服务器会在整个网络中广播一条消息。 当客户端收到消息时，它会回溯服
我是一名优秀的程序员,十分优秀！