ffmpeg - 将麦克风从客户端浏览器流式传输到远程服务器，并将音频实时传递到 ffmpeg 以与第二个视频源结合

Question

作为使用这类实时流媒体服务的初学者，我花了好几个小时试图弄清楚这是怎么可能的，但似乎无法弄清楚我是否会准确地去做。
我正在制作一个个人基本 Web 应用程序的原型(prototype)，该应用程序执行以下操作:

在网络浏览器中，网络应用程序有一个按钮，上面写着“流麦克风” - 当按下它时，它将音频从用户的麦克风(用户显然必须同意允许发送他们的麦克风音频)通过我的服务器假设将运行 node.js (此时没有具体原因，只是认为这就是我要这样做的方式)。

服务器以某种方式接收到足够接近实时的音频(不知道我会怎么做)。

然后我可以在命令行上运行 ffmpeg 并实时获取实时音频并将其作为声音添加到我想要播放的视频文件(假设我要播放 testmovie.mp4) .

我看过各种解决方案——比如可能使用 WebRTC、RTP/RTSP、将音频管道传输到 ffmpeg、Gstreamer、Kurento、Flashphoner 和/或 Wowza——但不知何故，它们看起来过于复杂，而且通常似乎只关注视频和音频。我只需要处理音频。

Answer 1

正如您所发现的，有许多不同的选项可以从支持 WebRTC 的浏览器接收音频。从最简单到更困难的选项可能是:

使用支持 WebRTC 的服务器，例如 Janus、Kurento、Jitsi(不确定 wowzer)等。这些服务器往往具有插件系统，其中一个可能已经具有您需要的音频混合功能。

如果您对节点感到满意，可以使用 werift库来接收 WebRTC 音频流，然后将其转发到 FFmpeg。

如果您想完全控制 WebRTC 管道并可能进行音频混合，您可以使用 gstreamer .根据您的描述，它应该能够完成完整的任务，而无需涉及单独的 FFmpeg 进程。