ffmpeg - UDP Receiver 需要在 udp sender 之前启动

Question

我正在尝试将带有运行 Raspian Buster 的摄像头的树莓派 0w 的视频发送到运行 Ubuntu 18.04 的机器。我正在使用 ffmpeg 在 raspi 端使用硬件编码为 h264，然后使用 gst-launch-1.0 发送数据通过 UDP。问题是，如果我启动 raspi 流，然后启动接收器，则接收器永远不会连接。如果我启动接收器然后启动 raspi 流，那么它们会完美连接。

Raspi 编码和发送命令:
ffmpeg -f video4linux2 -framerate 30 -video_size 1280x720 -i /dev/video0 -c:v h264_omx -b:v 2000k -f avi pipe:1 | gst-launch-1.0 --gst-debug=3 fdsrc ! udpsink host=192.168.1.142 port=8090
接收解码显示命令:
gst-launch-1.0 udpsrc port=8090 ! queue ! h264parse ! avdec_h264 ! xvimagesink sync=false
我看过 udpsink和 udpsrc属性并试图弄乱buffer-size , blocksize , 和 sync没有运气。我也试过使用 ffmpeg从 python 查看问题是否出在接收方，问题完全相同。

import cv2

cap = cv2.VideoCapture('udp://127.0.0.1:8090',cv2.CAP_FFMPEG)
if not cap.isOpened():
    print('VideoCapture not opened')
    exit(-1)

while True:
    ret, frame = cap.read()

    if not ret:
        print('frame empty')
        break

    cv2.imshow('image', frame)

    if cv2.waitKey(1)&0XFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

最后，如果没有数据包通过，我可能会编写一个小协议(protocol)来切换发送方，但我希望 UDP 能够更好地处理连接。

这个问题似乎很相似: UDP: Client started before Server但没有解决我的问题，因为我对 gstreamer/ffmpeg 没有任何阻止能力。

Answer 1

如果您想要随机访问，您需要定期发送 SPS/PPS 数据。如果你不这样做，这些数据只会在一开始就被发送。此信息对于解码 H.264 流至关重要。考虑添加 h264parse在 udpsink 之前并将其配置为config-interval属性(property)。