opencv - 旋转和很少相机移动的场景重建

Question

我正在尝试使用安装在门旋转中心附近的单摄像头通过深度测量来实现某种对象检测。基本思想是检测门前方(向上摆动时)的物体，并在门无法完全打开时发出碰撞警告。

我必须处理一些问题:

移动不大:摄像机从0°-90°旋转，并且只有有限的平移(由于摄像机位置而定)

摄像机镜头为鱼眼镜头(垂直100度，水平180度)

我试过的

运动的结构:

即使是完整的序列(从0°-90°旋转)，我也只能得到非常糟糕的场景重建。由于摄像机移动很少，我相信使用这种方法确实很难获得良好的效果(尤其是因为在发生碰撞警告时，我无法使用完整的视频序列)。

伪造立体声重建:

我使用了两个连续的图像，对其进行了校正，并试图生成视差图。几乎每次主极位于图像内部时，都会在校正时导致大量失真。但是，即使当子极位于图像外部(可能进行校正)时，视差图也不可用(碎片，没有明显的结构)。

如果有人有一些想法我可以在这里尝试，我将不胜感激。也许光流适合这里？

当真正不可能解决时，我也对某种(数学)证明感兴趣。使用SfM之类的算法是否需要最少的移动才能获得良好的重建结果？ SfM的翻译比旋转更好吗？

Answer 1

我相信您已经知道为什么这很难。如果没有其他依赖于场景的提示/线索，则只能进行旋转重建。

您可能需要看一下以下论文，该论文使用室内环境假设从单个图像进行3D重建:

E. Delage, Honglak Lee, and A.Y. Ng. A dynamic bayesian network model
for autonomous 3d reconstruction from a single indoor image. In Computer
Vision and Pattern Recognition, 2006 IEEE Computer Society Conference
on, volume 2, pages 2418?2428, 2006.

最好的解决方案可能是更改摄像头的安装，以便铰链旋转也可以平移。