algorithm - 计算机如何在深度学习中自行复现SIFT论文方法

Question

首先让我说，我正在努力理解深度学习中发生的事情。据我所知，这是一种尝试让计算机设计不同层次的表示和特征以使其能够自己学习东西的方法。 SIFT 似乎是一种常见的检测事物的方法，它通过在某种表示中标记和寻找尺度不变的事物来进行排序。我再次完全愚蠢和敬畏，想知道这种魔法是如何实现的。一个人如何让一台电脑自己完成这项工作？我看过这篇论文https://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf在这一点上我必须说，我认为这很神奇。有人可以帮我提炼出它的工作原理以及为什么计算机可以自己完成的要点吗？

Answer 1

SIFT 和 CNN 都是以不同的方式和输出从图像中提取特征的方法。

SIFT/SURF/ORB 或任何类似的特征提取算法都是“手工制作”的特征提取算法。这意味着，独立于现实世界的案例，他们的目标是提取一些有意义的特征。这种方法有一些优点和缺点。

优点:

• 您不必关心输入图像的条件，并且可能不需要任何预处理步骤来提取这些特征。
• 您可以直接获取 SIFT 实现并将其集成到您的应用程序中
• 使用基于 GPU 的实现(即 GPU-SIFT)，您可以实现高推理速度。

缺点:

• 它在查找特征方面存在局限性。在非常平坦的表面上获取特征时会遇到麻烦。
• SIFT/SURF/ORB 无法解决所有需要特征分类/匹配的问题。想想人脸识别问题。您认为对面部进行 SIFT 特征提取和分类是否足以识别人？
• 那些是手工制作的特征提取技术，它们无法随着时间的推移而改进(当然除非引入更好的技术)
• 开发这样的特征提取技术需要大量的研究工作

另一方面，在深度学习中，您可以开始分析许多人类无法识别的复杂特征。 CNN 是当今分析分层滤波器响应和通过组合这些滤波器响应(更深入)创建的许多复杂特征的完美方法。CNN 的主要力量来自于不用手工提取特征。我们只定义 PC 必须“如何”寻找功能。当然这种方法也有利有弊。

优点:

• 更多数据，更好的成功!这完全取决于数据。如果您有足够的数据来解释您的案例，深度学习优于手工特征提取技术。
• 一旦从图像中提取特征，就可以将其用于多种用途，例如分割图像、创建描述词、检测图像中的对象以及识别它们。更好的部分是，所有这些都可以一次获得，而不是复杂的顺序过程。

缺点:

• 你需要数据。可能很多。
• 最近最好使用监督学习或强化学习方法。由于无监督学习还不够好。
• 训练一个好的神经网络需要时间和资源。像 Google Inception 这样的复杂层次结构需要 2 周的时间才能在 8 GPU 服务器机架上进行训练。当然并不是所有的网络都这么难训练。
• 它有一定的学习曲线。您不必知道 SIFT 如何工作才能将其用于您的应用程序，但您必须知道 CNN 如何工作才能将它们用于您的自定义目的。