video - 具有多个实时流输入的 ffmpeg 在过滤器后添加异步延迟

Question

我正在努力将 ffmpeg 应用于自动驾驶卡车的远程控制。

本地网络中有 3 个来自摄像机的视频流，用 .sdp 文件描述如下(RTP 上的 MJPEG，如果我错了请纠正我):
m=视频 50910 RTP/AVP 26
c=IN IP4 192.168.1.91

我想用这个组合的三张图片制作一个视频流:

ffmpeg -hide_banner -protocol_whitelist "rtp,file,udp" -i "cam1.sdp" \
-protocol_whitelist "rtp,file,udp" -i "cam2.sdp" \
-protocol_whitelist "rtp,file,udp" -i "cam3.sdp" \
-filter_complex "\
nullsrc=size=1800x600 [back]; \
[back][b]overlay=1000[tmp1]; \
[tmp1][c]overlay=600[tmp2]; \
[tmp2][a]overlay" \
-vcodec libx264 \
-crf 25 -maxrate 4M -bufsize 8M -r 30 -preset ultrafast -tune zerolatency \
-f mpegts udp://localhost:1234

当我启动它时，ffmpeg 开始发送有关 RTP 数据包丢失的错误。在输出中，每个相机的 fps 似乎都不稳定，所以这是 Not Acceptable 。我可以同时在三个摄像头上启动 ffplay 或 mplayer。而且我还可以使用预先录制的视频文件作为输入来制作这样的流。所以看起来 ffmpeg 不能这么快地读取三个 UDP 流。摄像机以 10 Mbit/s、800x600、30 fps MJPEG 流式传输，这些是我能承受的最低设置，但摄像机可以做的更多。

所以我尝试对 UDP 缓冲区的大小做一些事情。好吧，可以为 UDP 流设置 buffer_size 和 fifo_size，但对于用 .sdp 文件描述的流没有这样的选项。尽管我找到了一种使用类似于 rtp:// 的 URL 来运行流的方法，但它似乎没有在“?”之后传递参数。到 UDP。

我的下一个想法是启动多个 ffmpeg 实例并分别接收流，处理它们并重新流式传输到另一个实例，该实例将使用任何类型的流，将它们拼接在一起并发送出去。这实际上是一个很好的设置，因为我需要单独过滤流、裁剪它们、镜头校正、旋转，并且单个 ffmpeg 实例上的大型 -filter_complex 可能无法处理所有流。我还要 3 个。

我尝试使用 3 个 fifopipe 或使用 3 个 udp://localhost:124x 内部流来实现此设置。没有一种方法解决了我的问题，但分离的 ffmpeg 实例似乎能够同时接收三个流。我能够通过管道和通过 mplayer 或 ffplay 通过 UDP 打开重复流。它们是完全同步和实时的缝合仍然失败得很惨。管道让我的相机延迟了几秒钟，并且在拼接后流变得不稳定且不同步。udp://结果让我获得了流畅的视频流，但是一个摄像头有大约 5 秒的延迟，而其他的有 15 秒和 25 秒。

这闻起来像缓冲液。更改 fifo_size 和 buffer_size 似乎影响不大。我尝试在重播实例中添加本地时间戳 - 这就是我发现 5、15、25 秒延迟的方式。我尝试在拼接器实例中添加帧时间戳 - 它们完全同步。所以 setpts=PTS-STARTPTS 也不起作用。

因此，缓冲区发生在 udp://套接字和 -filter_complex 输入之间。我该如何摆脱它？您觉得我的解决方法如何？我这样做完全错了吗？

Answer 1

可以通过在每个输入前添加 -thread_queue_size 1024 来减少数据包丢失(这是一个针对每个输入的命令)。

您找到改善相机间同步的方法了吗？我没有，虽然我相信这种方法，没有从流中提取 NTP 数据，是将每个帧视为没有时间缓冲的实时帧。不过，这种方法还不走运。