point-clouds - 3D 到 2D 匹配

Question

我有对象的点云(每个点都有一种颜色)和显示这些对象的图像。我想在 2D/3D 中找到兴趣点并匹配它们，这样我就知道在点云中找到图像的哪些部分(至少是那些有兴趣点的部分)。

所以我需要先找到兴趣点，获取它们的描述符并匹配它们。如果可能的话，这应该与当前快速和内存节省的算法一起工作，例如 OpenCV 的 BRISK 或 ORB(没有专利算法!)。但我不知道如何为 3D 实现它们。这可能吗？我找到了一篇论文(Hough Transform and 3D SURF for robust three dimensional classification)，其中讨论了 SURF 的 3D 扩展，这将是一个开始，但我找不到关于该 3D 扩展的任何信息。即便如此，问题仍然是这种扩展对于 BRISK 或其他当前算法的可行性如何。

所以，请给我关于如何进行的建议。

Answer 1

这叫做对极几何和立体匹配。

1) 您需要两张从中生成 3D 点云的图像 (2D)。2)从这两个图像，您可以创建基本矩阵，然后生成对极点。如果您在 MATLAB 中执行，则很容易做到，但不确定 OpenCV。3)来自两个独立图像的极点将绘制到 3D 世界的线。

我建议您阅读有关 2D -> 3D 的对极几何和立体匹配