opencv - 反转实值索引网格

Question

OpenCV 的 remap()使用实值索引网格使用双线性插值从图像中采样值网格，并将样本网格作为新图像返回。

准确地说，让:

A = an image 
X = a grid of real-valued X coords into the image. 
Y = a grid of real-valued Y coords into the image.
B = remap(A, X, Y)

那么对于所有的像素坐标i,j,

B[i, j] = A(X[i, j], Y[i, j]) 

其中圆括号表示法 A(x, y) 表示使用双线性插值法使用浮点值坐标 x 和 y。

我的问题是:给定一个索引网格X、Y，我怎样才能生成一个“逆向网格”X^-1， Y^-1 这样:

X(X^-1[i, j], Y^-1[i, j]) = i
Y(X^-1[i, j], Y^-1[i, j]) = j

和

X^-1(X[i, j], Y[i, j]) = i
Y^-1(X[i, j], Y[i, j]) = j

对于所有整数像素坐标i, j?

FWIW，图像和索引图 X 和 Y 的形状相同。但是，索引映射 X 和 Y 没有先验结构。例如，它们不一定是仿射或刚性变换。它们甚至可能是不可逆的，例如如果 X, Y 将 A 中的多个像素映射到 B 中相同的精确像素坐标。我正在寻找一种方法的想法，如果一个存在。

解决方案不需要基于 OpenCV，因为我使用的不是 OpenCV，而是另一个具有 remap() 实现的库。虽然欢迎提出任何建议，但我特别热衷于“数学上正确”的东西，即如果我的 map M 是完全可逆的，该方法应该在机器精度的一些小范围内找到完美的逆。

Answer 1

好吧，我只需要自己解决这个重映射反演问题，我将概述我的解决方案。

给定 X，Y 用于执行以下操作的 remap() 函数:

B[i, j] = A(X[i, j], Y[i, j])   

我计算了 Xinv、Yinv 可以被 remap() 函数用来反转过程:

A[x, y] = B(Xinv[x,y],Yinv[x,y])

首先我构建一个 KD-Tree对于 2D 点集 {(X[i,j],Y[i,j]} 所以我可以有效地找到 N 给定点的最近邻居 (x,y). 我使用欧几里德距离作为我的距离度量。我在 GitHub 上找到了一个很棒的 C++ header lib for KD-Trees。

然后我遍历 A 网格中的所有 (x,y) 值并找到 N = 5 最近的邻居 {(X[i_k,j_k],Y[i_k,j_k]) | k = 0 .. N-1} 在我的点集中。

• 如果距离 d_k == 0 对于一些 k 那么 Xinv[x,y] = i_k 和 Yinv [x,y] = j_k，否则...

• 使用 Inverse Distance Weighting (IDW)计算内插值:

  • 让权重w_k = 1/pow(d_k, p)(我使用p = 2)
  • Xinv[x,y] = (sum_k w_k * i_k)/(sum_k w_k)
  • Yinv[x,y] = (sum_k w_k * j_k)/(sum_k w_k)

请注意，如果 B 是 W x H 图像，则 X 和 Y 是 W x H float 组。如果 A 是 w x h 图像，则 Xinv 和 Yinv 是 w x h float 数组.与图像和 map 大小保持一致很重要。

工作起来很有魅力!我的第一个版本尝试了暴力搜索，我什至从未等待它完成。我切换到 KD-Tree 然后我开始获得合理的运行时间。如果有时间，我想将其添加到 OpenCV。

下面的第二张图片使用 remap() 去除第一张图片的镜头畸变。第三张图片是反转过程的结果。