opencv - 抛物线(非全景)视频拼接？

Question

我想做类似this的事情，但要相反-以便摄像机在外面并指向内部。让我们从抽象开始，并进行具体说明:

1)是否有任何工具可以帮我做到这一点？我可以使用现有软件多近的距离？

2)说最近的工具是像OpenCV这样的图形库。我修过线性代数，并拥有CS的本科学位，但没有任何图形学方面的特殊培训。我应该从那里去哪里？

3)如果我真的在进行为期十年的自我教学+编程练习的精神追求，以实现这一目标，那么您是否知道有任何论文或其他资源可以对我有所帮助？

Answer 1

我认为您链接的演示使用的是360°摄像头(请参见底部的黑色圆圈)，并且不以任何方式进行拼接。

关于您的问题，您知道this的工作吗？他们也不做拼接，只是在不同 View 之间进行融合。

如果使用向内 View ，则将要观察的对象可能非常靠近摄像机，而标准针迹假定对象距离很远。当您更改视点(即视差和遮挡)时，闭合的3D对象意味着高失真，这使得很难在两个 View 之间进行插值。因此，如果您想拼接，则主要问题是正确处理 View 之间的视差效果和遮挡。

我认为，最有前途的方法是在最接近您当前视点的两个相机图像之间进行实时立体声匹配(即密集的3D重建)，然后插值估计的视差以生成预期的图像。但是，正如您所链接的演示中所展示的那样，它不可能实时运行，结果可能非常难看。

编辑

您还可以查看this paper，它使用了一种不同但有趣的方法，但是对于您的情况可能并不直接有用，因为它要求新的视点在可用图像中可见。