image-processing - 在图像中查找网格

Question

有了三消游戏截图(例如 http://www.gameplay3.com/images/games/jewel-quest-ii-01S.jpg )，找到网格(带图 block 的表格)边界框的正确方法是什么？棋盘不必是完美的矩形(如屏幕截图所示)，但每个单元格都是完全正方形的。

我试过几个游戏，发现每个游戏都有一些图像转换可以用来增强网格内的瓷砖(例如在这个游戏中，它足以从 HSV 颜色空间中取出 V channel ).然后我可以放大图 block 使它们重叠，找到图像的最大轮廓并从中获取边界框。

上述方法的问题在于每个游戏(甚至是同一游戏中的关卡)可能需要不同的转换来获取方 block 。所以问题是 - 是否有一种标准方法来增强网格内的图 block 或网格线(我尝试使用 Hough 变换查找线，但是，虽然网格看起来很明显，但 Hough 没有找到它) ？

另外，如果使用手机摄像头获取屏幕截图而不是桌面屏幕截图怎么办？根据我的经验，捕获的图像颜色不太明确(取决于光线)，而且可能会稍微失真，因为无法将手机恰好放在屏幕前。

Answer 1

我会采用以下方法获取屏幕截图:

1. 使用诸如边缘检测器之类的精明工具查找图像中的角点。
2. 执行霍夫线变换。这在边缘图像上应该能很好地工作。
3. 如果您有一些关于图 block 大小的信息，您可以使用某种网格空间模型来消除误报线(例如，线仅与图像的 x/y 轴和/或距离/瓷砖边框的角度。
4. 通过查找由 canny 在线下方/旁边找到的边缘，识别已找到的 hough 线下方的图 block 边界。

您使用了哪种霍夫变换实现？你是如何预处理图像的？

另一种方法是使用某种机器学习方法。当您在 OpenCV 中工作时，您可以使用类似 Haar 的特征检测器。可以在此处找到使用类 Haar 特征进行人脸检测的示例:

OpenCV Haar Face Detector example

另一种机器学习方法是遵循定向梯度直方图 (Hog) 方法并结合支持向量机 (SVM)。示例位于此处:

HOG example

您可以在以下位置找到有关 HoG 检测的一般信息:

Hog detection