image - 识别屏幕截图中所有出现的图像列表(在图像中查找图像)

Question

我想识别屏幕截图中所有出现的图像列表并获取表情符号的标签(例如“微笑”)。

图像列表包含所有表情符号(full list): 等等……

这是截图(show large):

屏幕截图在出现表情符号的位置可以有不同的分辨率和不同的高度。

我的想法是:

• 使用 OpenCV 和各种过滤并在其上迭代所有表情符号图像(可能使用 template matching )
• 使用像 tensorflow 这样的神经网络，用表情符号训练你自己的模型

你会怎么做？

Answer 1

有几种经典方法可以回答您的问题:

• 简单的正则相关:https://en.wikipedia.org/wiki/Cross-correlation .当您准确地找到了正在寻找的图像且强度没有变化时，将使用简单相关。
• 归一化相关性(模板匹配背后的数学):https://en.wikipedia.org/wiki/Template_matching .当您准确地找到了正在寻找的图像且强度没有变化时，将使用简单相关。

如果屏幕截图和表情符号基本图片之间的强度不同，则应使用归一化相关。

这两种方法都会为您提供带有峰值的图像，并且您的表情符号将定位在该图像的局部最大值处。由于您的表情符号可能彼此非常相似，因此您必须在相关图像上使用阈值，以便区分您正在测试的表情符号和看起来几乎像他的表情符号。

此方法可能很耗时，但可以通过使用图像金字塔轻松加快速度。图像金字塔是一组图像，其中第一个是您的图像，第二个是第一个的二次采样因子 2，依此类推: https://en.wikipedia.org/wiki/Pyramid_(image_processing) .然后将相关应用于金字塔的顶层以找到近似位置，然后在近似位置周围的顶层 - 1 层等。

关于神经网络，或者你想尝试的其他机器学习方法，它们确实是沉重的解决方案，而你的问题很简单，所以你通常不需要它们。你有你正在寻找的精确图片，没有旋转、变形或强度变化，模板匹配应该非常有效。