matlab - CNN 特征的后期融合

Question

我正在研究 CNN 特征的早期和晚期融合。我从 CNN 的多层中获取了特征。对于早期融合，我捕获了三个不同层的特征，然后水平连接它们 F= [F1' F2' F3']; 对于后期融合，我正在阅读此 paper 。他们两次提到进行监督学习。但无法理解方法。

例如，这是从上述论文中获取的图像。第一张图像具有三个不同的特征，对于第一个监督学习，标签可以说是 4 类图像集中的 1 个。例如，输出为 [1 1 3]。假设第三个分类器的结果是错误的。那么我的问题是，多模态特征串联就像 [1 1 3] 和标签 1 可以说是 1 类图像吗？

Answer 1

• 我可能错了，但这是我的理解(我不确定我的答案)
• 假设您有 2 个类别，并且有 3 个不同的模型
• 因此每个模型都会输出一个 (2 x 1) 向量

• 例如

  模型 1:[[0.3], [0.7]]
  模型 2:[[0.2], [0.8]]
  模型2:[[0.6]，[0.4]]

• 现在您将按如下方式连接(多模式特征组合)结果:
  [0.3、0.2、0.6、0.7、0.8、0.4]

• 上述特征向量将作为最终监督学习器的输入，如图所示，概念分数作为监督学习器的输入

• 他们在论文中对此提到如下:
  我们将视觉向量 vi 与文本向量 ti 连接起来。
  特征归一化后，我们得到早期融合向量ei。
  然后 ei 作为 SVM 的输入。

• 现在，我们来谈谈这个模型的实现

• 我要做的是首先单独训练 Model-1，单独训练 Model-2，单独训练 Model-3
• 现在我将卡住 Model-1、Model-2、Model-3 的权重并提取分数并将它们组合到如上所述的特征向量中，并将其传递给最终的监督学习器并对其进行训练
• 将三个单模态监督学习器视为特征提取器，并将它们的结果连接起来，就像早期融合所做的那样，并将其传递给 SVM
• 我会将类(class)分数作为特征向量，而不是您假设的实际预测
• 为什么是类(class)分数而不是实际预测？因为类别分数代表单峰模型对类别预测的置信度