image-processing - 图像相似性 - 深度学习与手工制作的特征

Question

我正在计算机视觉领域进行研究，并且正在研究与查找与查询图像在视觉上相似的图像相关的问题。例如，寻找具有相似图案(条纹/方格)的相似颜色的 T 恤，或相似颜色和形状的鞋子等。

我探索了手工制作的图像特征，例如颜色直方图、纹理特征、形状特征(定向梯度直方图)、SIFT 等。我还阅读了有关深度神经网络(卷积神经网络)的文献，这些文献已经过大量数据的训练，目前是图像分类领域的最新技术。

我想知道相同的特征(从 CNN 中提取的)是否也可以用于我的项目——寻找图像之间的细粒度相似性。据我了解，CNN 已经学习了可以帮助对图像进行分类的良好代表性特征——例如，无论是红色衬衫、蓝色衬衫还是橙色衬衫，它都能够识别图像是衬衫。然而，它不明白橙色衬衫看起来比蓝色衬衫更像红色衬衫，因此它无法捕捉到这些相似之处。

如果我错了，请纠正我。我想知道是否有任何深度神经网络能够捕捉到这些相似之处，并且已被证明优于手工制作的特征。提前致谢。

Answer 1

对于您的任务，CNN 绝对值得一试!

许多研究人员使用针对图像分类进行预训练的网络，并在细粒度分类方面获得了最先进的结果。例如，尝试对 birds species 进行分类或汽车。

现在，您的任务不是分类，而是相关的。您可以将相似性视为特征之间的某种几何距离，这些特征基本上是向量。因此，您可以进行一些实验，计算所有训练图像(引用)的特征向量与从查询图像中提取的特征向量之间的距离。

从网络的第一层提取的 CNN 特征应该与颜色或其他图形特征更相关，而不是更“语义”的特征。

或者，有一些通过 CNN 直接学习相似性度量的工作，参见 here例如。