sockets - 直播(Socket)-如何同步音频和视频？

Question

1- 哪一个更适合用于流媒体视频？ TCP 或 UDP 套接字以及为什么？

2-直播时，音频和视频分别来自服务器，那么如何确保我显示的视频和设备上播放的音频同步？

Answer 1

我不久前编写了一个语音聊天应用程序，TCP 是不可能的，如果您正在寻找近乎实时的数据流，UDP 多播实际上是唯一的方法。不过，通过 UDP 进行流传输有两个主要问题:

1. 丢弃的数据包。就音频而言，这是一个非常简单的修复。通常，丢弃的数据包不会产生明显的差异(数据包是单独解压缩的)。然而，在处理视频时，特别是在视频被压缩的情况下(通常是压缩的)，找出确保网络稳健性的适当传输协议(protocol)至少可以说是一项艰巨的任务，特别是如果您从头开始这样做。视频帧被分成不同的数据包。弄清楚当这些数据包丢失时该怎么办是很困难的。
2. 音频和视频之间的同步。这是一个非常棘手的问题，我建议阅读 RTSP(实时流协议(protocol))等协议(protocol)。这不是一件容易的事，但这里有一些介绍性信息:http://www.cs.columbia.edu/~hgs/rtsp/ - 有时它是通过发送单独的同步数据包(某些协议(protocol)通过 TCP 发送这些数据包)来完成的，告诉播放器声音应如何与视频匹配。