c++ - 从实时摄像头源而不是图像中按形状跟踪对象

Question

我有以下 C++ 代码，旨在从预先指定的图像中检测形状并绘制形状的周边。但是，我希望将其推进到下一步，并跟踪来自相机馈送的形状，而不仅仅是图像。但是，我不太熟悉如何进行此转换。

#include <opencv2\opencv.hpp>
#include <opencv2\highgui\highgui.hpp>

int main()
{

    IplImage* img = cvLoadImage("C:/Users/Ayush/Desktop/FindingContours.png");

    //show the original image
    cvNamedWindow("Raw");
    cvShowImage("Raw", img);

    //converting the original image into grayscale
    IplImage* imgGrayScale = cvCreateImage(cvGetSize(img), 8, 1);
    cvCvtColor(img, imgGrayScale, CV_BGR2GRAY);

    //thresholding the grayscale image to get better results
    cvThreshold(imgGrayScale, imgGrayScale, 128, 255, CV_THRESH_BINARY);

    CvSeq* contours;  //hold the pointer to a contour in the memory block
    CvSeq* result;   //hold sequence of points of a contour
    CvMemStorage *storage = cvCreateMemStorage(0); //storage area for all contours

    //finding all contours in the image
    cvFindContours(imgGrayScale, storage, &contours, sizeof(CvContour), CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));

    //iterating through each contour
    while (contours) {
        //obtain a sequence of points of contour, pointed by the variable 'contour'
        result = cvApproxPoly(contours, sizeof(CvContour), storage, CV_POLY_APPROX_DP, cvContourPerimeter(contours)*0.02, 0);

        //if there are 3  vertices  in the contour(It should be a triangle)
        if (result->total == 3) {
            //iterating through each point
            CvPoint *pt[3];
            for (int i = 0; i < 3; i++) {
                pt[i] = (CvPoint*)cvGetSeqElem(result, i);
            }

            //drawing lines around the triangle
            cvLine(img, *pt[0], *pt[1], cvScalar(255, 0, 0), 4);
            cvLine(img, *pt[1], *pt[2], cvScalar(255, 0, 0), 4);
            cvLine(img, *pt[2], *pt[0], cvScalar(255, 0, 0), 4);

        }

        //if there are 4 vertices in the contour(It should be a quadrilateral)
        else if (result->total == 4) {
            //iterating through each point
            CvPoint *pt[4];
            for (int i = 0; i < 4; i++) {
                pt[i] = (CvPoint*)cvGetSeqElem(result, i);
            }

            //drawing lines around the quadrilateral
            cvLine(img, *pt[0], *pt[1], cvScalar(0, 255, 0), 4);
            cvLine(img, *pt[1], *pt[2], cvScalar(0, 255, 0), 4);
            cvLine(img, *pt[2], *pt[3], cvScalar(0, 255, 0), 4);
            cvLine(img, *pt[3], *pt[0], cvScalar(0, 255, 0), 4);
        }

        //if there are 7  vertices  in the contour(It should be a heptagon)
        else if (result->total == 7) {
            //iterating through each point
            CvPoint *pt[7];
            for (int i = 0; i < 7; i++) {
                pt[i] = (CvPoint*)cvGetSeqElem(result, i);
            }

            //drawing lines around the heptagon
            cvLine(img, *pt[0], *pt[1], cvScalar(0, 0, 255), 4);
            cvLine(img, *pt[1], *pt[2], cvScalar(0, 0, 255), 4);
            cvLine(img, *pt[2], *pt[3], cvScalar(0, 0, 255), 4);
            cvLine(img, *pt[3], *pt[4], cvScalar(0, 0, 255), 4);
            cvLine(img, *pt[4], *pt[5], cvScalar(0, 0, 255), 4);
            cvLine(img, *pt[5], *pt[6], cvScalar(0, 0, 255), 4);
            cvLine(img, *pt[6], *pt[0], cvScalar(0, 0, 255), 4);
        }

        //obtain the next contour
        contours = contours->h_next;
    }

    //show the image in which identified shapes are marked   
    cvNamedWindow("Tracked");
    cvShowImage("Tracked", img);

    cvWaitKey(0); //wait for a key press

    //cleaning up
    cvDestroyAllWindows();
    cvReleaseMemStorage(&storage);
    cvReleaseImage(&img);
    cvReleaseImage(&imgGrayScale);

    return 0;
}

在此问题上的任何帮助都非常感谢。谢谢!

Answer 1

如果您使用的是 C++，我会首先重写它以使用 C++ OpenCV API，而不是这个旧的 C 语言——恕我直言，它更容易使用。在此过程中，将代码重构为更小的函数，并将处理与 I/O 解耦。最后，考虑一下视频只是一系列图像。如果您可以处理一张图像，那么您就可以处理一段视频，一次处理一帧。

---

那么，如何实现这一点。让我们从头开始，编写一个 main() 函数。

要读取视频流，我们将使用 cv::VideoCapture .我们将从初始化(并确保有效)开始，并准备一些 named windows显示输入和输出帧。

然后我们将开始无限循环处理各个帧，只有在帧获取失败或用户按下退出键时才会退出。在每次迭代中，我们将:

• Read来自视频流的帧(并确保成功)
• 处理帧(我们稍后会为此编写一个函数)
• Display我们命名的窗口中的原始帧和处理过的帧
• Wait a bit ，并检查用户是否按下了转义键，并进行适当的处​​理

代码:

int main()
{
    cv::VideoCapture cap(0); // open the video camera no. 0

    if (!cap.isOpened())  // if not success, exit program
    {
        std::cout << "Cannot open the video cam\n";
        return -1;
    }

    cv::namedWindow("Original", CV_WINDOW_AUTOSIZE);
    cv::namedWindow("Tracked", CV_WINDOW_AUTOSIZE);

    // Process frames from the video stream...
    for(;;) {
        cv::Mat frame, result_frame;

        // read a new frame from video
        if (!cap.read(frame)) {
            std::cout << "Cannot read a frame from video stream\n";
            break;
        }

        process_frame(frame, result_frame);

        cv::imshow("Original", frame);
        cv::imshow("Tracked", result_frame);
        if (cv::waitKey(20) == 27) { // Quit on ESC
            break;
        }
    }

    return 0;
}

注意:在适当的时候使用 cv::waitKey 是 GUI 工作的必要条件。仔细阅读文档。

---

完成后，就该实现我们的 process_frame 函数了，但首先，让我们创建一些有用的全局 typedef。

在 C++ API 中，轮廓是 cv::Point 的 std::vector对象，并且由于可以检测到多个轮廓，我们还需要轮廓的 std::vector。同样，层次结构表示为 cv::Vec4i 的 std::vector对象。 ("is"是对 child 的谎言，因为它也可能是其他数据类型，但现在这并不重要)。

typedef std::vector<cv::Point> contour_t;
typedef std::vector<contour_t> contour_vector_t;
typedef std::vector<cv::Vec4i> hierarchy_t;

让我们来研究这个函数——它需要两个参数:

• 我们不想修改的输入帧 ( cv::Mat )，我们只是对其进行分析。
• 输出帧，我们将处理结果绘制到其中。

我们需要:

• 将原始帧复制到结果中，以便我们稍后在其上绘制。
• 使用 cv::cvtColor 制作灰度版本, 这样我们就可以
• cv::threshold它，将图像二值化
• cv::findContours在二进制图像上
• 最后，处理每个检测到的轮廓(可能绘制到结果帧中)。

代码:

void process_frame(cv::Mat const& frame, cv::Mat& result_frame)
{
    frame.copyTo(result_frame);

    cv::Mat feedGrayScale;
    cv::cvtColor(frame, feedGrayScale, cv::COLOR_BGR2GRAY);

    //thresholding the grayscale image to get better results
    cv::threshold(feedGrayScale, feedGrayScale, 128, 255, cv::THRESH_BINARY);

    contour_vector_t contours;
    hierarchy_t hierarchy;
    cv::findContours(feedGrayScale, contours, hierarchy, cv::RETR_LIST, cv::CHAIN_APPROX_SIMPLE);
    for (size_t k(0); k < contours.size(); ++k) {
        process_contour(result_frame, contours[k]);
    }
}

---

最后一步，处理单个轮廓的函数。它需要:

• 要绘制的图像 (cv::Mat)
• 工作轮廓

首先，我们想要近似一个多边形，使用周长的分数(我们可以使用 cv::arcLength 来计算)作为参数。我们将继续处理这个近似的轮廓。

接下来，我们要处理 3 种具体情况:三角形、四边形和七边形。我们想用不同的颜色绘制每个人的轮廓，否则我们什么都不做。要绘制构成轮廓的线序列，我们可以使用 cv::polylines .

代码:

void process_contour(cv::Mat& frame, contour_t const& contour)
{
    contour_t approx_contour;
    cv::approxPolyDP(contour, approx_contour, cv::arcLength(contour, true) * 0.02, true);

    cv::Scalar TRIANGLE_COLOR(255, 0, 0);
    cv::Scalar QUADRILATERAL_COLOR(0, 255, 0);
    cv::Scalar HEPTAGON_COLOR(0, 0, 255);

    cv::Scalar colour;
    if (approx_contour.size() == 3) {
        colour = TRIANGLE_COLOR;
    } else if (approx_contour.size() == 4) {
        colour = QUADRILATERAL_COLOR;
    } else if (approx_contour.size() == 7) {
        colour = HEPTAGON_COLOR;
    } else {
        return;
    }

    cv::Point const* points(&approx_contour[0]);
    int n_points(static_cast<int>(approx_contour.size()));

    polylines(frame, &points, &n_points, 1, true, colour, 4);
}

注意:std::vector 保证是连续的。这就是为什么我们可以通过获取第一个元素 (&approx_contour[0]) 的地址来安全地获取指针。

---

注意:避免使用

using namespace std;
using namespace cv;

有关详细信息，请参阅 Why is “using namespace std” considered bad practice?