computer-vision - 用玻璃覆盖的棋盘校准相机

Question

我需要找到单个的内在校准参数。为此，我从不同角度拍摄了几张棋盘图案的图像，然后使用校准软件。

为了使校准图案尽可能平坦，我将其打印在纸上并盖上 3mm 玻璃。显然，图案的图像被玻璃修改了，因为它与空气相比具有不同的折射系数。

外部参数会被玻璃扭曲。这是因为棋盘格不在我们看到的位置。但是，如果已知玻璃的厚度以及玻璃和空气的折射系数，似乎可以恢复外参数。

所以，问题是:

• 是否可以计算外部参数？如果可以，如何计算？ (现在还没有这个必要，只是一个有趣的理论问题)
• 从这些图像中获得的固有校准参数是否等同于通过常规校准程序(无盖玻片)获得的参数？

通过使用玻璃，GML Camera Calibration Toolbox(基于 OpenCV)报告的校准参数变得更加准确。 (它有任何意义吗？)但这种方法有一个小缺点 - 不需要的反射，尤其是来自光源的反射。

Answer 1

我推荐你选择一个非常平坦的支撑(这是我自己推荐的 here )。但是，请原谅我问了一个显而易见的问题，为什么要用玻璃盖住图案？

既然练习的重点是确保目标的平面度而不是别的，那么你不妨把与纸片图案相反的一面粘上去，避免这一切麻烦。是的，随着时间的推移，图案会变脏和磨损，需要更换。所以您只需将其刮掉并更换:打印棋盘很便宜。

如果出于某种原因，你被前面的玻璃卡住，我建议首先对由于玻璃折射引起的预期光线偏转进行包络背面计算，并检查它是否真的可以测量通过你的设备。给定您正在使用的镜头的标称焦距(以毫米为单位)以及传感器的物理宽度和像素密度，您可以轻松地在图像中心计算出来，假设目标的“极端”旋转角度 w.r.t 焦轴(例如，45 度)和标称距离。对于第一次近似，您可以将图案建模为“画”在玻璃上，因此忽略第一次折射而只考虑玻璃到空气的折射。

如果上述计算表明效果是可测量的(偏转 >= 1 像素)，您将需要将玻璃添加到场景模型中，并在束调整阶段求解其参数，以及内部和外部。首先，我会使用两个参数，厚度和折射系数，并假设两个面都是平面和平行的。它只会使成本函数中角投影的计算稍微复杂一些，因为您必须考虑光线偏转。鉴于成本函数的额外复杂性，我肯定会编写模型的代码来使用 Automatic Differentiation (广告)。

如果你真的想完成这个练习，我建议在 Google Ceres 之上编写求解器支持 AD 的捆绑调整器，还有很多不错的东西。