matlab - 从视频重建 3D 轨迹(由单个相机拍摄)

Question

我目前正在尝试根据从 iPhone 视频中拍摄的一系列图像重建坠落物体(例如球或石头)的 3D 轨迹。

我应该从哪里开始寻找？我知道我必须校准相机(我想我会使用 Jean-Yves Bouguet 的 matlab 校准工具箱)，然后从相同的序列中找到消失点，但我真的卡住了。

Answer 1

阅读:http://www.cs.auckland.ac.nz/courses/compsci773s1c/lectures/773-GG/lectA-773.htm它解释了使用两个相机进行 3D 重建。现在做一个简单的总结，看看那个网站上的图:

你只知道 pr/pl，图像点。通过从它们各自的焦点 Or/Ol 追踪一条线，您会得到两条线 (Pr/Pl)，它们都包含点 P。因为您知道 2 个相机的原点和方向，您可以为这些线构建 3d 方程。因此，它们的交点是 3d 点，瞧，就这么简单。

但是当您丢弃一台相机(假设是左边的那台)时，您只能确定 Pr.缺少的是深度。幸运的是，您知道球的半径，这些额外的信息可以为您提供缺失的深度信息。看下图(不要介意我的绘画技巧):

现在您知道使用 the intercept theorem 的深度

我看到最后一个问题:当以一定角度(即不垂直于捕获平面)投影时，球的形状会发生变化。但是你确实知道角度，所以补偿是可能的，但我把它留给你:p

编辑:@ripkars 的评论(评论框太小)

1)好的

2) 啊哈，对应问题 :D 通常通过相关分析或匹配特征来解决(主要是匹配，然后是视频中的跟踪)。 (其他方法也存在)我自己没有使用过图像/视觉工具箱，但绝对应该有一些东西可以帮助您。

3) = 相机校准。通常你应该只做一次，在安装相机时(以及每隔一次你改变它们的相对姿势)

4) 是的，只需将 Longuet-Higgins 方程付诸实践，即:求解

P = C1 + mu1*R1*K1^(-1)*p1
P = C2 + mu2*R2*K2^(-1)*p2

与 P = 查找的 3D 点 C = 相机中心(矢量) R = 旋转矩阵，表示世界框架中第一个摄像机的方向。 K = 相机的校准矩阵(包含相机的内部参数，不要与 R 和 C 包含的外部参数混淆) p1 和 p2 = 图像点 mu = 参数表示 P 在从相机中心 C 到 P 的投影线上的位置(如果我是正确的 R*K^-1*p 表示从 C 指向 P 的线方程/向量)

这些是包含 5 个未知数的 6 个方程:mu1、mu2 和 P

编辑:@ripkars 的评论(评论框又一次太小了)唯一出现在我脑海中的计算机视觉库是 OpenCV ( http://opencv.willowgarage.com/wiki )。但那是一个 C 库，而不是 matlab...我想 google 是你的 friend ;)

关于校准:是的，如果那两个图像包含足够的信息来匹配某些特征。如果您更改相机的相对姿势，您当然必须重新校准。

世界坐标系的选择是任意的；仅当您想事后分析检索到的 3d 数据时，它才变得重要:例如，您可以将其中一个世界平面与运动平面对齐 -> 简化运动方程，如果你想适合一个。这个世界框架只是一个引用框架，可以通过“改变引用框架变换”(平移和/或旋转变换)来改变