three.js - 将图像与点云对齐

Question

我正在扩展一个可视化点云的 3D 网络应用程序，以支持图像。该应用程序基于开源应用程序，Potree (反过来使用 three.js )，并允许测量距离。可以查看 Potree 中测量工具的演示 here .

我的目标是将照片叠加到点云上，这样就可以在图像上而不是在点云上进行测量(注意:实际测量仍将在点云。图像叠加作为指导，因此需要对齐)。为了对齐照片，我使用 external camera parameters - 主要用于平移和旋转。下面的图片显示了我目前在将图像与 3D 场景对齐时获得的结果。必须注意的是，图像尚未针对相机的失真进行校正(上面链接中的内部参数)。获取此图像的过程可以概括为以下主要步骤:

1. 将场景中的图像对象平移到拍摄照片的位置。我们称它为 (X,Y,Z)
2. 使用从相机方向获得的 Heading/Pitch/Roll 角度旋转图像对象
3. 将 3D 场景的虚拟相机定位在 (X,Y,Z) 并查看图像对象。使用视野参数调整图像显示的近/远。

仅点云

图像叠加的点云

获得的结果中的照片看起来大致对齐，但需要调整。仅使用我拥有或可以修改的以下参数/变量获得比对:

• 照片的相机方向(角度 - 航向/俯仰/横滚；位置 - GPS/投影坐标)
• 相机参数(焦距 - 在本例中为 8.5mm，以及其他制造商指定的参数)
• 图片尺寸(5328 x 4608 像素)
• 虚拟相机姿势(在 3D 场景中。包括视野、位置、方向、近距离和远距离)

(注意:使用视野公式，FOV = 2*atan(H/2f) = 2*atan( 4608/( 2 * 8.5))，上面的数据给出了~180度的视野，这导致three.js透视相机渲染场景不正确)。

我没有的是:

• 图像中的深度信息(图像不是立体对的一部分)
• 控制/登记点
• 3d 场景中可识别特征/对象的坐标，用于将图像与场景对齐。我或许可以对一两张图片执行此操作，但无法将其扩展到数百张图片。

我不太精通摄影测量/计算机视觉，甚至不确定我是否在上面的描述中使用了正确的术语。我浏览过的其他文章/论文谈到通过使用控制点和/或对象匹配进行图像配准，我不能或不愿意这样做，原因是它们的计算成本太高，无法在 Web 浏览器中执行。

所有这些都归结为我的问题。使用上面列出的参数是否有可能获得足以在照片上进行测量的对齐方式？如果没有，缺少什么？

这里有意不包含源代码，因为我的目标是加深对这一特定场景所需理论概念的理解。

Answer 1

您正在处理的问题也称为 Lidar-Camera fusion。您有输入数据作为点云、相机内参和外参。

解决这个问题的方法有两种:

1. 基于特征(SIFT/SURF/ORB)。
2. 基于强度 - 最适合多模态数据，例如来自激光扫描仪的点云和来自相机的 RGB 图像。

方法论:

1. 使用相机投影矩阵创建点云的合成图像。
2. 这将为您提供点云上 3D 点的像素位置。从RGB图像中获取该像素位置的灰度值，并从相应的3D点获取反射率值。
3. 计算互信息 (MI)。这将作为要最小化的错误。
4. 使用最小二乘法调整将误差降至最低，以计算出相对方向的最佳估计值。
5. 有了这个之后，您就可以直接获取每个投影点的 RGB 值。如果您有多个图像，那么对于重叠区域，您需要进行混合。

这些是一些最好的引用:

1. https://www.robots.ox.ac.uk/~mobile/Papers/2013ICRA_an.pdf
2. http://www.diva-portal.org/smash/get/diva2:1415878/FULLTEXT01.pdf
3. https://core.ac.uk/download/pdf/153778932.pdf
4. https://deepblue.lib.umich.edu/bitstream/handle/2027.42/112212/rob21542.pdf?sequence=1