ios - 将源图像与一组已知图像进行比较

Question

我正在为我 friend 的 parent 开发一个应用程序，他不幸中风，无法再说话、阅读或拼写。然而，他可以画出相当详细的图画。

我目前构建了一个可以处理绘图图像并检测基本形状的应用程序。 (直线、正方形和三角形)该应用程序可以计算每种形状的绘制数量，因此它知 Prop 有两个正方形的图像与只有一个正方形的图像之间的区别。

这会给用户带来大量的认知负担，让他们记住所有形状的组合及其含义。我目前正在通过

检测图像中的轮廓

findContours(maskMat, contours, hierarchy, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);

我想要实现的是用户绘制一个形状，将其添加到已知图形库中，然后每次绘制图像时，应用程序都会处理每个已知图像，将其与源图像进行比较并保存相似度值.然后取最高的相似度值，只要它高于阈值，就可以认为绘制的图像是最知名的图像。

我研究了 OpenCV 模式匹配和模板，但结果不可靠。

我正在征求有关提供我希望的结果的最佳方法的建议。

我为我的大学讲座制作了一个宣传视频，以最好地说明该应用程序的功能。如果您有兴趣，可以在这里查看。 https://youtu.be/ngMUUIsLHoc

提前致谢。

Answer 1

首先，这看起来是一个很棒的应用程序。为了一个奇妙的目的。干得好!

针对您的具体问题，看过视频后，似乎一种方法如下:

1.将每个绘图区域划分为(比如)一个 3x3 网格，并允许每个区域包含一个图元，比如垂直线、水平线、正方形、圆形、三角形或什么都没有。 (这在某种程度上取决于你 friend parent 的运动控制)

1. 图像完成后，检测这些基元并编码一个(比方说)9 个字符的 key ，该 key 可用于检索适当的图像。例如，如果三角形是 T，正方形是 S，空心是下划线，那么根据视频，“我要回家”的代码将是“_T__S____”。

2. 开始绘制新图像时，您可以在绘制时检测每个图元，并使用它来构造一个搜索键，其中该键包含“?”对于未知字符。然后您可以从数据库中快速检索所有可能的匹配项。

例如，如果用户在顶部、中间区域绘制一个三角形，这将被编码为“?T????????”这将匹配 '_T__S____' 以及 '_TT______'

如果限制用户绘制到屏幕的较小区域不可行，那么您仍然可以存储表示每个图元相对位置的编码 key 。

为此，您可以计算每个图元的质心，将它们从左到右、从上到下排序，然后存储它们相对位置的一些表示，例如正方形上方的三角形可能是 TVS，其中 V 表示 S 在 T 下方，正方形左侧的三角形可能是 T

希望对您有所帮助。

祝你好运!