c++ - OpenCV 无法从树莓派创建的 gstreamer 打开网络流

Question

我正在尝试使用 Gstreamer 从我的 Raspberry pi 打开一个单播 udp 流。将使用带有 OpenCV 的 C++ 应用程序在 Windows PC 上接收此流。这是我在树莓派上用来启动流的 shellscript:

raspivid -t 0 -h 1080 -w 1920 -fps 30 -hf -vf -n -b 6000000 -o - | gst-launch-1.0 -e -vvvv  fdsrc ! h264parse !  rtph264pay config-interval=5 pt=96 ! udpsink host=192.168.0.101 port=5001

我可以使用像这样的批处理文件在我的 Windows PC 上接收和显示素材:

@echo off
cd C:\gstreamer\1.0\x86_64\bin
gst-launch-1.0 -e -v udpsrc port=5001 ! application/x-rtp, payload=96 ! rtpjitterbuffer ! rtph264depay ! avdec_h264 ! fpsdisplaysink sync=false text-overlay=false

为了能够在我的 C++ 应用程序中使用这个流，我使用了 Opencv。我不熟悉使用 Opencv 打开流。我正在尝试使用以下代码打开流:

    cv::VideoCapture cap("udp://@:5001");
    if (!cap.isOpened()) {
        printf("=ERR= can't create video capture\n");
        return -1;
    }

当我运行我的应用程序时，它在 cv::VideoCapture cap("udp://@:5001"); 卡住了(没有崩溃)；每次。我不确定引号之间的输入参数是什么。当我对流进行 wireshark 时，我得到了这个结果:

Source:192.186.0.103 Destination:192.168.0.101 Protocol:UDP Length:1442 Info:35946->5001 Len=1400

显然这只是众多软件包中的一个。

谁能帮我处理这些输入参数或告诉我另一种在 OpenCV 中打开流的方法？

Answer 1

OpenCv 支持 gstreamer，您可以将管道输入到 VideoCapture。您需要做的是使用 appsink 完成您的管道。

在你的情况下你可能会使用

const char* pipe = "udpsrc port=5001 ! application/x-rtp, payload=96 ! rtpjitterbuffer ! rtph264depay ! avdec_h264 ! appsink"
cv::VideoCapture cap(pipe);