linux - 无法将网络摄像头视频路由到 Linux 上的虚拟视频设备(通过 OpenCV)

Question

我想通过 OpenCV 将视频叠加到传入的网络摄像头流上。作为第一步，我尝试将传入视频从位于 /dev/video0 的网络摄像头流式传输到位于 /dev/video1 (v4l2loopback) 的虚拟视频设备。不幸的是，我无法将网络摄像头流转发到 v4l2loopback 设备。

我找到了这个线程:How to write/pipe to a virtual webcam created by V4L2loopback module?但那里的链接并没有真正帮助我。

从网络摄像头获取和观看流与来自 OpenCV 页面的一些小演示代码配合得很好。以及来自 v4l2loopback 页面的示例代码，例如将静态视频文件播放到 /dev/video1 效果很好。当我将 VLC 连接到 /dev/video1

时，我可以观看视频

我已经读到 v4l2loopback 设备必须通过常规 Linux 驱动程序命令(open、ioctl、write 等)进行控制。因此，OpenCV 中没有包装器类来写入环回设备。我的网络摄像头以 640x480 和 MJPG 格式传输。有趣的是，我可以使用 VLC 连接到环回设备，当我按下播放键时，我可以看到正确的分辨率、编解码器和 FPS。进度条上的时间计数器也开始运行。但是屏幕仍然是黑色的(带有 VLC Logo)。

我大致做的是这个(顺便说一句:代码可能无法编译......不想让这里的一切变得困惑......如果您需要更多详细信息，请告诉我):

int main ( int argc, char **argv ) {
    cv::VideoCapture cap;
    struct v4l2_format vid_format;
    size_t framesize = 640 * 480 * 3; // 3 Bytes per  pixel
    __u8 *buffer = null;
    int fd = null;

    cap.open  ( "/dev/video0" );
    fd = open ( "/dev/video1", O_RDWR );

    memset ( &vid_format, 0, sizeof(vid_format) );
    vid_format.type                = V4L2_BUF_TYPE_VIDEO_OUTPUT;
    vid_format.fmt.pix.width       = cap.get(CV_CAP_PROP_FRAME_WIDTH);
    vid_format.fmt.pix.height      = cap.get(CV_CAP_PROP_FRAME_HEIGHT);
    vid_format.fmt.pix.pixelformat = { 'M', 'J', 'P', 'G' };
    vid_format.fmt.pix.sizeimage   = framesize;
    vid_format.fmt.pix.field       = V4L2_FIELD_NONE;
    vid_format.fmt.pix.colorspace  = V4L2_COLORSPACE_SRGB;
    ioctl ( fd, VIDIOC_S_FMT, &vid_format );

    buffer = (__u8*) malloc ( sizeof(__u8) *framesize );
    memset ( buffer, 0, framesize );

    for(;;) {
        cv::Mat frame;
        cap >> frame;
        write ( fd, &frame.data, framesize );
    }
}

如果有人可以提示我需要如何转换 wecam 数据以使其被 VLC 接受，那就太好了。

Answer 1

经过大量研究，我终于能够开发出一个可行的解决方案。有很多步骤需要执行，我将在下面详细讨论:

一般

如我在上面的问题中所述，目标是能够获取网络摄像头的传入流并将其转发到虚拟视频设备，然后可以使用 VLC 等工具将其打开。这被认为是能够进行进一步图像处理的第一步。

1) v4l2loopback

v4l2loopback 是 linux 的虚拟视频设备(内核模块)。可以从这里下载源https://github.com/umlaeute/v4l2loopback .下载后，必须执行以下步骤才能运行它:

make
sudo make install
sudo depmod -a
sudo modprobe v4l2loopback

如果你想在 Chrome (WebRTC) 中使用这个视频设备，你需要执行最后一行附加参数:

sudo modprobe v4l2loopback exclusive_caps=1

请注意 exlusive_caps 是一个数组，因此如果以上方法不起作用，请尝试:

sudo modprobe v4l2loopback exclusive_caps=1,1,1,1,1,1,1,1

信息: 请务必注意，必须将 v4l2loopback 设备设置为与您要在下面示例中使用的分辨率相同的分辨率。如您所见，我已将示例中的定义设置为 FullHD。如果你想要例如800x600，您需要在编译前更改 v4l2loopback 代码中的默认值，或者在插入模块时通过附加的 cmd 行参数 max_width 和 max_height 更改分辨率。内核模块默认以 640x480 的分辨率运行。您可以使用以下方法获取更多详细信息和所有支持的参数:

modinfo v4l2loopback

2) OpenCV

OpenCV 是一个支持捕获和实时视频操作的库。要构建 OpenCV，请访问此页面 http://docs.opencv.org/3.0-beta/doc/tutorials/introduction/linux_install/linux_install.html其中详细解释了所有步骤。

3) 示例代码

您可以通过以下方式构建/运行下面的示例代码:

g++ -ggdb `pkg-config --cflags --libs opencv` sample.cpp -o sample
./sample

代码如下:

#include <stdio.h>
#include <fcntl.h>
#include <errno.h>
#include <unistd.h>
#include <sys/ioctl.h>
#include <linux/videodev2.h>
#include "opencv2/opencv.hpp"

#define VIDEO_OUT "/dev/video0" // V4L2 Loopack
#define VIDEO_IN  "/dev/video1" // Webcam

#define WIDTH  1920
#define HEIGHT 1080


int main ( int argc, char **argv ) {
    cv::VideoCapture cap;
    struct v4l2_format vid_format;
    size_t framesize = WIDTH * HEIGHT * 3;
    int fd = 0;

    if( cap.open ( VIDEO_IN ) ) {
        cap.set ( cv::CAP_PROP_FRAME_WIDTH , WIDTH  );
        cap.set ( cv::CAP_PROP_FRAME_HEIGHT, HEIGHT );
    } else {
        std::cout << "Unable to open video input!" << std::endl;
    }

    if ( (fd = open ( VIDEO_OUT, O_RDWR )) == -1 )
        printf ("Unable to open video output!");

    memset ( &vid_format, 0, sizeof(vid_format) );
    vid_format.type = V4L2_BUF_TYPE_VIDEO_OUTPUT;

    if ( ioctl ( fd, VIDIOC_G_FMT, &vid_format ) == -1 )
        printf ( "Unable to get video format data. Errro: %d\n", errno );

    vid_format.fmt.pix.width       = cap.get ( CV_CAP_PROP_FRAME_WIDTH  );
    vid_format.fmt.pix.height      = cap.get ( CV_CAP_PROP_FRAME_HEIGHT );
    vid_format.fmt.pix.pixelformat = V4L2_PIX_FMT_RGB24;
    vid_format.fmt.pix.sizeimage   = framesize;
    vid_format.fmt.pix.field       = V4L2_FIELD_NONE;

    if ( ioctl ( fd, VIDIOC_S_FMT, &vid_format ) == -1 )
        printf ( "Unable to set video format! Errno: %d\n", errno );

    cv::Mat frame ( cap.get(CV_CAP_PROP_FRAME_HEIGHT), 
    cap.get(CV_CAP_PROP_FRAME_WIDTH), CV_8UC3 );
  
    printf ( "Please open the virtual video device (/dev/video<x>) e.g. with VLC\n" );

    while (1) {
        cap >> frame;
        cv::cvtColor ( frame, frame, cv::COLOR_BGR2RGB ); // Webcams sometimes deliver video in BGR not RGB. so we need to convert
        write ( fd, frame.data, framesize );
    }
}