image-processing - 如何反转torch.nn.function.grid_sample的操作？

Question

如果我们得到两个图像，目标图像tgt_img和源图像src_img。并且，我们还知道从源图像到目标图像的网格grid。因此，我们可以使用F.grid_sample从源图像生成目标图像。

tgt_img = F.grid_sample(src_img, grid)

有什么好主意来获取从目标图像到源图像的inv_grid吗？这样:

inv_grid = ?
src_img =  F.grid_sample(tgt_img, inv_grid)

我尝试过读取grid中的数据并生成inv_grid，但我想知道是否有更好更快的方法

这里是一个例子，给出了一个网格，如下所示: a grid that represent the coordinates correspondence from src_img to tgt_img

然后我想用这个网格生成inv_grid，它代表tgt_img到src_img的坐标对应关系。结果如下所示: tgt_img to src_img

Answer 1

这取决于您最初如何创建网格。
如果 grid 是使用 F.affine_grid 创建的，那么您只需使用 theta 的逆(用于创建 grid 的仿射变换)来创建 inv_grid。
在更一般的情况下，grid可能根本没有inv_grid!假设grid将多个src_img像素映射到同一个tgt_img像素 - 如何反转这个奇点？