javascript - 我可以使用WebRTC接收非标准RTP流吗？

Question

我的网络中的一个节点上运行着一个软件，它生成通过 UDP/IP 传输的 RTP 流。这些流包含流数据，但不是任何标准音频/视频格式(如 H.264 等)。我想要一个简单的 Web 应用程序，可以连接到这些流，适本地解码有效负载，并显示其内容。据我所知，不可能从浏览器直接访问 UDP 套接字。

有没有办法使用 JavaScript/HTML5 读取任意 RTP 流(即给定 UDP 端口号来接收数据)？发送流的软件没有实现 WebRTC 指定的任何信令协议(protocol)，我无法更改它。我希望能够获取 RTP 数据包内容；我可以毫无问题地处理解码和显示。

Answer 1

据我所知，WebRTC API 集中没有任何内容可以让您执行此操作。正如您所指出的，也没有直接的编程方式来处理浏览器中的 UDP 数据包。

您可以使用 Canvas 和 Web Audio API 来有效播放任意视频，但这会占用大量 CPU。 MediaSource 扩展可用于通过浏览器的编解码器运行数据，但您仍然必须以某种方式获取数据。

我认为您的情况最好的解决方案是在服务器端建立这些连接，并使用 FFmpeg 之类的东西在浏览器可以处理的编解码器和容器中输出流，然后简单地在视频元素中播放。然后，您可以连接到任何您想要的内容。我使用 Node.js 完成了类似的项目，这使得通过管道传输流并将其输出到浏览器变得非常容易。