node.js - 带有 WebRTC 的 Vnc 用于远程屏幕控制

Question

概览

是否可以使用 VNC (RFB) 和 WebRTC 来使用 Node Js 实现远程屏幕控制？我从 RFB 获取远程屏幕帧，我想将其转换为 MediaStream，然后发送到客户端。我试图在网上搜索任何解决方案，但找不到我可以使用的任何解决方案。

我找到的可能解决方案

ffmpeg 帧编码(我不确定我是否可以将帧编码为适合 MediaStream 的内容)

将帧放入 Canvas 元素，然后捕获到 MediaStream

主要问题

如何编码 rfb 帧以​​适合 Mediastream 和 WebRTC

到目前为止我一直在使用的

我只是将 rfb 帧转换为 png 图片，发送到客户端并使用 Canvas 渲染它。问题 - fps 很差，延迟很大

除了WebRTC还有其他解决方案吗？

Answer 1

我认为 WebRTC 是一个很好的解决方案，这个开源项目 neko已经做到了。他们没有使用 VNC(而是使用 GStreamer 来捕获 X11)，但这完全有可能改变。

由于 png 是无损的，因此您浪费了大量带宽，如果可能的话，我会编码为 VPx 或 H264。

您是否通过 DataChannel 传输这些 png？如果可能，我也会使用 RTP。浏览器将丢弃延迟帧(和其他优化)以确保您获得最佳体验。