c++ - Bag of Features 如何运作？

Question

我不确定这个论坛是否适合这个问题，否则我很抱歉。

我对 Bag of Features 很陌生模型，我正在尝试实现以通过 vector 表示图像(对于 CBIR 项目)。

据我了解，给定训练集 S的 n图像并假设我们想通过大小为 k 的 vector 表示图像，这些是实现 BoF 的步骤:

1. 对于每张图片 i ，计算关键点集并从中计算描述符集 i-D .
2. 将所有图像的描述符集放在一起，所以现在我们有 D .
3. 运行 k表示(其中 k 在上面定义)算法 D , 所以现在我们有 k聚类，每个描述符 vector 都属于一个聚类。
4. 定义iv作为生成的 BoF vector (大小为 k )相对于图像 i .每个维度都初始化为0。
5. 对于每张图片 i ，并且对于每个描述符 d属于i-D , 找出哪个集群 d属于所有k之间集群。假设d属于j -th 集群，然后是 vi[j]++ .

我不清楚的是如何实现第 5 点，那么我们如何理解描述符属于哪个集群，特别是如果我们尝试计算 BoF vector 的图像是一个查询图像(因此不属于初始数据集)？我们是否应该找到最近邻 (1-NN) 以了解查询描述符属于哪个集群？

为什么我需要这个 - 应用程序:

我正在实现 BoF 模型以实现 CBIR:给定查询图像 q , 找到最相似的图像 i的 q在图像数据集中。为此，我们需要解决 1-近似最近邻问题，例如使用 LSH .问题是 LSH 中每个图像的输入都表示为一个 vector ，所以我们需要 BoF 才能做到这一点!我希望现在我需要它的原因更清楚了:)

如果我在上述过程中犯了错误，请告诉我。

Answer 1

您的算法所做的是为图像生成等效的文字。这组“词”并不意味着是最终结果，而只是使它可以简单地与其他机器学习技术一起使用的东西。

在此设置中，您从初始特征(来自点 1 的关键点)生成一组 k 个聚类。然后你通过落在每个集群中的关键点的数量来描述每个图像(就像你有一个文本由长度为 k 的字典中的单词组成)。

第 3 点表示您从训练集图像中获取所有关键点，然后运行 ​​k-means algorithm , 找出点之间的一些合理分离。这基本上确定了单词是什么。

因此，对于新图像，您需要像对训练集所做的那样计算关键点，然后使用您在训练中已经计算的聚类，计算出新图像的特征向量。也就是说，您将图像转换为您构建的字典中的单词。

这是一种从图像中生成合理特征向量的方法(如果需要，可以是部分结果)。这不是一个完整的机器学习算法。要完成它，您需要知道自己想要做什么。如果您只想找到最相似的图像，那么是的，最近邻搜索应该可以做到这一点。如果要标记图像，则需要根据特征向量训练分类器(如朴素贝叶斯)并使用它来计算查询的标签。