python - 特征匹配的图像相似性度量？

Question

我目前正在尝试使用 python 在 openCV 中使用 SIFT 来使用蛮力特征匹配器。我正在尝试将它用于我服务器上的图像搜索功能，我在其中输入图像并将该图像与其他图像进行比较，希望匹配能够表明相似程度。有没有办法通过使用特征匹配来指示相似程度？

目前，我正在研究我在 this 上找到的东西网站，我也会在下面发布:

img1 = cv2.imread('box.png',0)          # queryImage
img2 = cv2.imread('box_in_scene.png',0) # trainImage

# Initiate SIFT detector
sift = cv2.SIFT()

# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)

# BFMatcher with default params
bf = cv2.BFMatcher()
matches = bf.knnMatch(des1,des2, k=2)

# Apply ratio test
good = []
for m,n in matches:
    if m.distance < 0.75*n.distance:
        good.append([m])

# cv2.drawMatchesKnn expects list of lists as matches.
img3 = cv2.drawMatchesKnn(img1,kp1,img2,kp2,good,flags=2)

plt.imshow(img3),plt.show()

我现在用来衡量“相似性”的是通过应用比率测试获得的“好”匹配的数量，并且只是找出有多少“好”匹配存储在好使用简单的 len(good)。

这返回了我用来评估输入图像与数据库图像相似度的良好匹配数。但是，我假设事情没有这么简单，因为当我开始使用一张鞋子的图片对此进行测试时，像香蕉这样的图片比其他鞋子图片获得了更多的“好”匹配。甚至比不同颜色的同一双鞋更相似。

我认为这可能只是一个异常现象，所以我继续使用更大的图像数据集进行测试，再次发现，鞋子没有收到分数(或良好匹配的数量)，就像一张图像一样高四轮摩托车或一个人，而不是与其他鞋子搭配。

那么基本上，我如何使用带有数值的特征匹配来定义两幅图像的相似性？

谢谢。

Answer 1

我认为您需要选择更好的特征以获得更好(或更相似的图像)结果。 SIFT 是一种局部特征，即使是语义不同的图像(如鞋子和香蕉)，您也很有可能找到相似的 SIFT 特征。

为了提高相似度的准确性，我建议您选择除 SIFT 之外的更好的特征。就像图像中的颜色直方图。如果你使用图像的颜色直方图，你会得到颜色直方图相似的图像。您可以使用良好的特征组合来找到相似性。您可以通过检查数据库中的图像类型以及您认为可以区分不同语义类的特征来决定这种组合。

如果您可以使用稍微不同的方法，我建议您使用 PLSA，这是我使用过的一种方法。概率潜在语义分析(PLSA)是一种无监督学习算法，它用较低维度的隐藏类来表示数据。然后可以通过计算新图像低维表示与所有其他类的欧氏距离来找到相似性。您可以根据距离对其进行排序并获得相似的图像。即使在这里选择正确的功能也很重要。您还需要选择隐藏类的数量。您将需要试验类(class)的数量。

我有一个小项目使用 PLSA 来解决图像检索问题。所以如果你不介意这个插头，这里是PLSA Image retrieval .不幸的是它是 Matlab，但您可以了解正在发生的事情并尝试使用它。我使用颜色直方图作为特征。因此，选择可以帮助您更好地辨别不同类别的特征。