android - OpenCV 检测围棋板的不同方法

Question

我正在开发一款可以识别 GO board 的 Android 应用程序并创建一个 SGF file

我制作了一个能够检测木板并扭曲视角以使其呈正方形的版本(下面的代码和示例图片)不幸的是，添加石头时它会变得有点困难。(下图)

关于平均棋盘的重要事项:

• 圆形黑白 gem
• 黑板上的黑线
• 板材颜色从白色到浅棕色，有时带有木纹
• 石头放在两条线的交点上

如果我错了请纠正我，但我认为我目前的方法不是一个好方法。有人知道如何将石头和线条与图片的其余部分分开吗？

我的代码:

    Mat input = inputFrame.rgba(); //original image
    Mat gray = new Mat();          //grayscale image

    //convert image to grayscale
    Imgproc.cvtColor( input, gray, Imgproc.COLOR_RGB2GRAY);

    //try to improve histogram (more contrast)
    equalizeHist(gray, gray);

    //blur image
    Size s = new Size(5,5);
    GaussianBlur(gray, gray, s, 0);

    //apply adaptive treshold 
    adaptiveThreshold( gray, gray, 255, Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C, Imgproc.THRESH_BINARY,11,2);

    //adding secondary treshold, removes a lot of noise
    threshold(gray, gray, 0, 255, Imgproc.THRESH_BINARY + Imgproc.THRESH_OTSU);

一些图片:

_{(来源:eightytwo.axc.nl)}

_{(来源:eightytwo.axc.nl)}

编辑: 05-03-2016

耶!设法正确检测线石和颜色。前提条件图片只能是棋盘本身，没有任何其他背景可见。
我使用 houghLinesP (60lines) 和 houghCircles (17circles)，在我的手机(第一代 Moto G)上持续时间大约 5 秒。
当它必须在不同的角度和闪电条件下工作时，检测板和翘曲是一个相当大的挑战。仍在努力

仍然欢迎对不同方法提出建议!!

_{(来源:eightytwo.axc.nl)}

编辑: 15-03-2016

我找到了一种很好的方法来获得与交叉类型形态变换相交的线，不幸的是，当照片是直接在棋盘上方拍摄时效果惊人，而不是在一个角度(见下文)
_{(来源:eightytwo.axc.nl)}

在我的上次更新中，我用一张从正上方拍摄的照片展示了线和石头检测，从那时起我一直致力于检测电路板并以一种使我的线和石头检测变得有用的方式扭曲它。

哈里斯角点检测
我努力获得正确的参数设置，我仍然不确定它们是否是最佳的，在使用哈里斯角之前找不到关于如何优化图像的太多信息。现在它检测到许多有用的角落。虽然感觉它可以工作。 (上面一行以图片为例)

    Mat corners = new Mat();
    Imgproc.cornerHarris(image, corners, 5, 3, 0.03);

    Mat mask = new Mat(corners.size(), CvType.CV_8U, new Scalar(1));
    Core.MinMaxLocResult maxVal = Core.minMaxLoc(corners);

    Core.inRange(corners, new Scalar(maxVal.maxVal * 0.01), new Scalar(maxVal.maxVal), mask);

交叉类型形态转换
当图片直接从上方拍摄、从某个角度使用或与旋转板一起使用时，效果很好(示例中图片的中间线)

    Imgproc.GaussianBlur(image, image, new Size(5, 5), 0);
    Imgproc.adaptiveThreshold(image, image, 255, Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C, Imgproc.THRESH_BINARY_INV, 11, 2);

    int morph_elem = 1;     //0: Rect - 1: Cross - 2: Ellipse
    int morph_size = 5;

    int morph_operator = 0; //0: Opening - 1: Closing \n 2: Gradient - 3: Top Hat \n 4: Black Hat
    Mat element = getStructuringElement( morph_elem, new Size(2 * morph_size + 1, 2 * morph_size + 1), new Point( morph_size, morph_size ));
    morphologyEx(image, image, morph_operator + 2, element);

轮廓线和轮廓线
如果外板上没有石头并且光线条件不刺眼，则效果很好。轮廓通常只是棋盘的一部分(示例中带有图片的下线)

    Imgproc.GaussianBlur(image, image, new Size(5, 5), 0);
    Imgproc.adaptiveThreshold(image, image, 255, Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C, Imgproc.THRESH_BINARY_INV, 11, 2);

    Mat hierarchy = new Mat();
    MatOfPoint biggest     = null;
    int contourId          = 0;
    double biggestArea     = 0;

    double minSize = 2000;
    List<MatOfPoint> contours = new ArrayList<>();

    findContours(InvertedImage, contours, hierarchy, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE);

    //find biggest
    for( int x = 0; x < contours.size() ; x++ ){

        double area = Imgproc.contourArea(contours.get(x));

        if( area > minSize && area > biggestArea ){

            biggestArea = area;
            biggest     = contours.get(x);
            contourId   = x;
        }
    }

提供正确的图片，这三种方法都有效，但不够可靠。欢迎对参数、图像预处理、不同方法或任何可能改进检测的任何想法=)

link to picture

编辑: 2016 年 3 月 31 日

检测线和石头已经基本解决了，所以我将关闭这个问题。 created a new one用于准确检测和翘曲。

任何对我的进展感兴趣的人:this is my GOSU Snap Alpha channel现在不要期望太多!

编辑: 16-10-2016

更新:我看到有些人还在关注这个问题。我测试了更多东西并开始使用 Tensorflow，我的神经网络看起来很有前途， you can have a look at it here.还有很多工作要做，我当前的图像数据集很糟糕，现在我正在努力获得一个大数据集。

该应用程序最好使用带有粗线和适当闪电的方板。

Answer 1

假设您不想“强制”您的最终用户拍摄最干净的照片(例如使用一些 QR 码扫描仪之类的叠加层)

也许你可以对不同的内核使用一些形态学转换:

• 以矩形内核为线条打开和关闭
• 用椭圆核打开和关闭得到石头(应该可以在某个点反转图像以得到白色或黑色的)

看看http://docs.opencv.org/2.4/doc/tutorials/imgproc/opening_closing_hats/opening_closing_hats.html (抱歉，这是用 C++ 编写的，但我认为这在 Java 中几乎是一样的)

我曾尝试过这些操作来从数独中移除网格以避免单元格提取中的噪声，并且效果非常好。

让我知道这些信息对你有用(这肯定是一个非常有趣的案例)