c++ - 检测器、提取器和匹配器的分类

Question

我是 opencv 新手，正在尝试实现两个图像之间的图像匹配。为此，我试图了解特征描述符、描述符提取器和描述符匹配器之间的区别。我遇到了很多术语，并试图在 opencv 文档网站上阅读它们，但我似乎无法理解这些概念。我理解了这里的基本区别。 Difference between Feature Detection and Descriptor Extraction

但我在研究该主题时遇到了以下术语:

FAST, GFTT, SIFT, SURF, MSER, STAR, ORB, BRISK, FREAK, BRIEF

我了解 FAST、SIFT、SURF 的工作原理，但似乎无法弄清楚以上哪些只是检测器，哪些是提取器。

然后是匹配器。

FlannBased, BruteForce, knnMatch and probably some others.

经过阅读，我认为某些匹配器只能与某些提取器一起使用，如此处所述。 How Does OpenCV ORB Feature Detector Work?给出的分类很清楚，但仅适用于少数提取器，我不明白 float 和 uchar 之间的区别。

所以基本上，有人可以请吗

1. 如前所述，根据 float 和 uchar 对检测器、提取器和匹配器的类型进行分类，还是其他类型的分类？
2. 解释 float 和 uchar 分类或所使用的分类之间的区别？
3. 提到如何初始化(编码)各种类型的检测器、提取器和匹配器？

我知道它要求很多，但我将不胜感激。谢谢。

Answer 1

I understand how FAST, SIFT, SURF work but can't seem to figure out which ones of the above are only detectors and which are extractors.

Basically, from that list of feature detectors/extractors (link to articles: FAST , GFTT , SIFT , SURF , MSER , STAR , ORB , BRISK , FREAK , BRIEF ), some of them are only feature detectors ( FAST、GFTT)其他都是特征检测器和描述符提取器(SIFT、SURF、ORB、FREAK)。

如果我没记错的话，BRIEF 只是一个描述符提取器，所以它需要通过 FAST 或 ORB 等其他算法检测到的特征。

要确定哪个是哪个，您必须浏览与算法相关的文章或浏览 opencv 文档以查看哪个是为 FeatureDetector 类实现的，或者哪个是为 DescriptorExtractor 实现的 类。

Q1: classify the types of detectors, extractors and matchers based on float and uchar, as mentioned, or some other type of classification?

Q2: explain the difference between the float and uchar classification or whichever classification is being used?

关于问题1和2，将它们分类为float和uchar，link you already posted是我所知道的最好的引用，也许有人可以完成它。

Q3: mention how to initialize (code) various types of detectors, extractors and matchers?

回答问题3，OpenCV 使代码使用的各种类型完全相同——主要是你必须选择一个特征检测器。大部分区别在于选择匹配器的类型，您已经提到了 OpenCV 拥有的 3 个匹配器。最好的办法是阅读文档 code samples 和相关的 Stack Overflow 问题。此外，一些博客文章是很好的信息来源，例如 series of feature detector benchmarks by Ievgen Khvedchenia(该博客不再可用，因此我不得不从其 google 缓存创建原始文本拷贝)。

Matchers 用于查找一个描述符是否与列表中的另一个描述符相似。您可以将您的查询描述符与列表中的所有其他描述符(BruteForce)进行比较，也可以使用更好的启发式方法(FlannBased, knnMatch)。问题是启发式方法不适用于所有类型的描述符。例如，FlannBased 实现仅适用于 float 描述符，但不适用于 uchar(但从 2.4.0 开始，带有 LSH 索引的 FlannBased 可以应用于 uchar 描述符) .

引用 this App-Solut blog post 关于 DescriptorMatcher 类型:

The DescriptorMatcher comes in the varieties “FlannBased”, “BruteForceMatcher”, “BruteForce-L1” and “BruteForce-HammingLUT”. The “FlannBased” matcher uses the flann (fast library for approximate nearest neighbors) library under the hood to perform faster but approximate matching. The “BruteForce-*” versions exhaustively searche the dictionary to find the closest match for an image feature to a word in the dictionary.

一些比较流行的组合是:

特征检测器/描述符提取器/匹配器类型

• (FAST, SURF)/SURF/FlannBased

• (FAST, SIFT)/SIFT/FlannBased

• (FAST, ORB)/ORB/Bruteforce

• (FAST, ORB)/Brief/Bruteforce

• (FAST, SURF)/FREAK/Bruteforce

您可能还注意到，特征检测器有一些适配器(动态、金字塔、网格)。 The App-Solut blog post 很好地总结了它们的用途:

(...) and there are also a couple of adapters one can use to change the behavior of the key point detectors. For example the Dynamic adapter which adjusts a detector type specific detection threshold until enough key-points are found in an image or the Pyramid adapter which constructs a Gaussian pyramid to detect points on multiple scales. The Pyramid adapter is useful for feature descriptors which are not scale invariant.

进一步阅读:

• This blog post by Yu Lu 对 SIFT、FAST、SURF、BRIEF、ORB、BRISK 和 FREAK 做了非常好的总结描述。

• 这些 series of posts by Gil Levi 还对其中几种算法(BRIEF、ORB、BRISK 和 FREAK)做了详细的总结。