opencv - 应用透视变换校正图像中纸张的程度

Question

我正在进行一个项目，该项目将帮助我们纠正图像的方向度数。

在此代码中，我正在检测一张纸。我使用的步骤1.应用houghLine变换2.检测角点。 3.应用透视变换。通过所有这些，我能够检测到纸张，但它只适用于一两张图像，它不适用于所有图像，我不明白为什么，

我认为这段代码的问题是它无法正确检测角点，因此我无法校正图像的透视。

它适用于这张图片

但是当我使用其他图像而不是这个图像时，我无法这样做

#include <cv.h>
#include <highgui.h>


using namespace std;
using namespace cv;


Point2f center(0,0);

Point2f computeIntersect(Vec4i a, Vec4i b)
{
    int x1 = a[0], y1 = a[1], x2 = a[2], y2 = a[3], x3 = b[0], y3 = b[1], x4 = b[2], y4 = b[3];
    float denom;

    if (float d = ((float)(x1 - x2) * (y3 - y4)) - ((y1 - y2) * (x3 - x4)))
    {
        Point2f pt;
        pt.x = ((x1 * y2 - y1 * x2) * (x3 - x4) - (x1 - x2) * (x3 * y4 - y3 * x4)) / d;
        pt.y = ((x1 * y2 - y1 * x2) * (y3 - y4) - (y1 - y2) * (x3 * y4 - y3 * x4)) / d;
        return pt;
    }
    else
        return Point2f(-1, -1);
}

void sortCorners(vector<Point2f>& corners, Point2f center)
{
    vector<Point2f> top, bot;

    for (int i = 0; i < corners.size(); i++)
    {
        if (corners[i].y < center.y)
            top.push_back(corners[i]);
        else
            bot.push_back(corners[i]);
    }
    corners.clear();

    if (top.size() == 2 && bot.size() == 2){
        Point2f tl = top[0].x > top[1].x ? top[1] : top[0];
        Point2f tr = top[0].x > top[1].x ? top[0] : top[1];
        Point2f bl = bot[0].x > bot[1].x ? bot[1] : bot[0];
        Point2f br = bot[0].x > bot[1].x ? bot[0] : bot[1];


        corners.push_back(tl);
        corners.push_back(tr);
        corners.push_back(br);
        corners.push_back(bl);
    }
}

int main()
{
    Mat src,cann,hsv;
    src = imread("C:\\im.jpg",WINDOW_AUTOSIZE);

    if (src.empty())
        return -1;

    imshow("original",src);

    blur(src, src, Size(3, 3));
    Canny(src, cann, 50, 200, 3);
    cvtColor(cann, hsv, CV_GRAY2BGR);

    vector<Vec4i> lines;
    HoughLinesP(cann, lines, 1, CV_PI/180, 70, 30, 10);
    for( size_t i = 0; i < lines.size(); i++ )
    {
        Vec4i l = lines[i];
        line( hsv, Point(l[0], l[1]), Point(l[2], l[3]), Scalar(0,0,255), 2, CV_AA);
    } 

    // Expand the lines
    for (int i = 0; i < lines.size(); i++)
    {
        Vec4i v = lines[i];
        lines[i][0] = 0;
        lines[i][1] = ((float)v[1] - v[3]) / (v[0] - v[2]) * -v[0] + v[1]; 
        lines[i][2] = src.cols; 
        lines[i][3] = ((float)v[1] - v[3]) / (v[0] - v[2]) * (src.cols - v[2]) + v[3];
    }

    vector<Point2f> corners;
    for (int i = 0; i < lines.size(); i++)
    {
        for (int j = i+1; j < lines.size(); j++)
        {
            Point2f pt = computeIntersect(lines[i], lines[j]);
            if (pt.x >= 0 && pt.y >= 0)
                corners.push_back(pt);
        }
    }

    vector<Point2f> approx;
    approxPolyDP(Mat(corners), approx, arcLength(Mat(corners), true) * 0.02, true);

    //if (approx.size() != 4)
//  {
    //  cout << "The object is not quadrilateral!" << endl;
        //return -1;
    //}



    // Get mass center
    for (int i = 0; i < corners.size(); i++)
        center += corners[i];

    center *= (1. / corners.size());

    sortCorners(corners, center);
    if (corners.size() == 0)
    {
        cout << "The corners were not sorted correctly!" << endl;
        return -1;
    }

    Mat dst = src.clone();

    // Draw lines
    for (int i = 0; i < lines.size(); i++)
    {
        Vec4i v = lines[i];
        line(dst, Point(v[0], v[1]), Point(v[2], v[3]), CV_RGB(0,255,0));
    }

    // Draw corner points
    circle(dst, corners[0], 3, CV_RGB(255,0,0), 2);
    circle(dst, corners[1], 3, CV_RGB(0,255,0), 2);
    circle(dst, corners[2], 3, CV_RGB(0,0,255), 2);
    circle(dst, corners[3], 3, CV_RGB(255,255,255), 2);
    // Draw mass center
    circle(dst, center, 3, CV_RGB(255,255,0), 2);

    Mat quad = Mat::zeros(300, 220, CV_8UC3);

    vector<Point2f> quad_pts;
    quad_pts.push_back(Point2f(0, 0));
    quad_pts.push_back(Point2f(quad.cols, 0));
    quad_pts.push_back(Point2f(quad.cols, quad.rows));
    quad_pts.push_back(Point2f(0, quad.rows));

    Mat transmtx = getPerspectiveTransform(corners, quad_pts);
    warpPerspective(src, quad, transmtx, quad.size());

    imshow("blurr",src);
    imshow("canney",cann);
    imshow("hough",hsv);
    imshow("image", dst);
    imshow("quadrilateral", quad);

    waitKey(0);
    return 0;
}

请帮助我，我真的被这个困住了。

Answer 1

您的算法假定 HoughLinesP 函数将始终只检测 4 条线，并且每条线都位于纸张的不同边缘。然而，这个假设是错误的。在您的特定情况下，当您处理第二张图像时，它会在您处理第二张图像时返回 5 行。 Click to see the detected lines (marked by non-gray colours).

快速修复

我将第 6 个 HoughLinesP 参数(minLineThreshold 参数)的值更改为 70。之后，图像中只检测到 4 条线，但另一个错误浮出水面；检测到 5 个角而不是 4 个。原因是什么？两个相对的边缘不平行，它们在图像区域之外相交。这种情况导致了问题:

if (pt.x >= 0 && pt.y >= 0)
            corners.push_back(pt);

仅检查角坐标是否为非负数是不够的。相反，您必须确保角落在某些有意义的边界内；在您的情况下，这些可能是图像的边界。

if (pt.x >= 0 && pt.y >= 0 && pt.x <src.cols && pt.y < src.rows)
            corners.push_back(pt);

更改阈值并修复条件后，我得到了这个结果:(Click to see an image)

警告

如您所见，另一个问题浮出水面 - 边角的检测没有达到应有的准确度。您可以在这里使用 canny edges 提供的信息来发挥您的优势。但我不想冒险超出你的问题范围，所以我会停下来。

我将我的解决方案命名为“快速修复”，因为它只解决了一种特殊情况。如果您想要更通用的解决方案并且想继续使用您的算法，则每次使用 HoughLineP 之前都必须计算一个合理的阈值估计。