image - 如何使用光流图像将后面的帧扭曲到前面的帧

Question

我只有两张图像，一张是当前帧，另一张是通过其他方式计算的光流图像。

当前帧是:

光流图像为:

我的问题是如何使用这两个图像计算前一帧？

我看到了一种解决方案，只是使用双线性插值将当前帧扭曲到光流图像的最后一帧。但我不知道该怎么做。

那么，有人可以给我一些建议或想法吗？非常感谢。

Answer 1

您正在寻找opencv函数remap 。如果您有当前图像 (currImg) 和光流垫 (flow)，那么您可以通过首先反转光流然后应用函数 重新映射。在Python中，代码如下:

import cv2
h, w = flow.shape[:2]
flow = -flow
flow[:,:,0] += np.arange(w)
flow[:,:,1] += np.arange(h)[:,np.newaxis]
prevImg = cv2.remap(curImg, flow, None, cv.INTER_LINEAR)