opencv - 在 imx6 板上处理视频和传输的最佳方式是什么？

Question

最近，我在尝试使用带有 imx6 处理器和 MIPI-CSI 摄像头的板来传输视频。

我们的目标是通过 RTP 协议(protocol)传输视频 (1920x1080@30fps)，我们使用 gstreamer 管道实现了这一点。要传输的命令管道是:

gst-launch-1.0 imxv4l2videosrc device=/dev/video1 imx-capture-mode=2 ! imxvpuenc_h264 quant-param=29 ! rtph264pay mtu=60000 ! udpsink host=10.42.0.1 port=5000 sync=false

该命令传输分辨率为 1920x108 的视频(imx-capture-mode=2 参数)。

然后从 PC (10.42.0.1) 我们使用以下命令捕获视频(通过端口 5000):

gst-launch-1.0 -v udpsrc port=5000 ! application/x-rtp, media=video, clock-rate=90000, encoding-name=H264, payload=96 !  rtph264depay ! avdec_h264 ! fpsdisplaysink text-overlay=false sync=false &

而且视频的流畅度非常好。

但是现在，我们想在传输视频之前对其进行处理，因为摄像机在移动，我们需要添加一些算法来减少由于抖动引起的噪声。

换句话说，主要思想是:从相机中获取视频->处理视频->传输到RTP。所有这些都使用带有 imx6 的电路板。

该开发板基于 linux yocto 项目，它具有启用了 gstreamer 插件的 opencv 3.1。我们的想法是使用 opencv 和 gstreamer 管道获取视频，处理并传输它......但首先我们做了一些测试，获取视频并在不处理的情况下传输它，但是当我们从 PC 上捕获视频时，它非常慢和延迟...

我们想知道这是否是实现我们目标的正确方法。这是我们使用的源代码:

#include <QCoreApplication>
#include <QDebug>
#include <opencv2/opencv.hpp>
#include <opencv2/video.hpp>

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);
    cv::VideoCapture cap("imxv4l2videosrc device=/dev/video1 imx-capture-mode=2 ! videoconvert ! appsink");
    Q_ASSERT(cap.isOpened());
    if(!cap.isOpened())
    {
        qDebug() << "Error with the video capturer";
        a.exit(-1);
    }
    cv::Mat frame;
    cap >> frame; //Dummy read
    double frame_width=   cap.get(CV_CAP_PROP_FRAME_WIDTH);
    double frame_height=   cap.get(CV_CAP_PROP_FRAME_HEIGHT);

    cv::VideoWriter writer;
    writer.open("appsrc ! videoconvert ! imxvpuenc_h264 quant-param=29 ! rtph264pay mtu=60000 ! udpsink host=10.42.0.1 port=5000 sync=false",
                0,30,cv::Size(frame_width,frame_height));
    if(!writer.isOpened())
    {
        qDebug() << "Error video writer";
        a.exit(-1);
    }

    while(true) {

            cap.read(frame);

            if(frame.empty())
                break;

            writer.write(frame);
            cv::waitKey(33);
        }

    return a.exec();
}

Answer 1

我猜您的视频速度变慢的原因是视频格式转换。 OpenCv 从 gstreamer appsink 元素获取 BGR 格式的视频。如果您的 imxv4l2videosrc 输出不同的格式(例如 UYVY 或 I420)，videoconvert 元素将必须执行大量的计算。在某些情况下，这些计算使用了超过 100% 的 CPU，这会减慢您的输入流。

您可以通过在管道末尾添加 -v 来检查原始管道使用的格式。

gst-launch-1.0 imxv4l2videosrc device=/dev/video1 imx-capture-mode=2 ! imxvpuenc_h264 quant-param=29 ! rtph264pay mtu=60000 ! udpsink host=10.42.0.1 port=5000 sync=false -v

我们可以通过降低分辨率来测试视频转换是否正在减慢您的系统。您能否通过将分辨率降低到 1280x720 或 640x360 再试一次，并检查您的 CPU 使用率？

如果是这种情况，我们可以从 imxv4l2videosrc 请求不同格式的输出。我没有使用过那个元素，我不知道它的功能。但是您可以使用 gst-inspect-1.0 命令检查功能。

gst-inspect-1.0 imxv4l2videosrc

输出会有这样的部分

Pad Templates:
  SRC template: 'src'
    Availability: Always
    Capabilities:

      video/x-raw
                 format: { (string)RGB16, (string)BGR, (string)RGB, (string)GRAY8, (string)GRAY16_LE, (string)GRAY16_BE, (string)YVU9, (string)YV12, (string)YUY2, (string)YVYU, (string)UYVY, (string)Y42B, (string)Y41B, (string)YUV9, (string)NV12_64Z32, (string)NV24, (string)NV61, (string)NV16, (string)NV21, (string)NV12, (string)I420, (string)BGRA, (string)BGRx, (string)ARGB, (string)xRGB, (string)BGR15, (string)RGB15 }
                  width: [ 1, 32768 ]
                 height: [ 1, 32768 ]
              framerate: [ 0/1, 2147483647/1 ]

BGRx、“RGB”或“xRGB”等具有 B、G 和 R channel 的格式将对您有用且速度快。