matlab - Lukas Kanade 光流 : Understanding the math

Question

我找到了 LKT 算法的 Matlab 实现 here并基于亮度恒常方程。

该算法通过将图像与适当的 2x2 水平和垂直边缘梯度运算符进行卷积来计算 x 和 y 方向上的图像梯度。

经典文献中的亮度恒常方程在其右侧是两个连续帧之间的差异。

然而，在上述链接所指的实现中，右侧是卷积的差异。

It_m = conv2(im1,[1,1;1,1]) + conv2(im2,[-1,-1;-1,-1]);

为什么 It_m 不能简单地计算为:

it_m = im1 - im2;     

Answer 1

正如您所提到的，理论上光流计算只规定了逐个像素的差异。然而，在实践中，所有自然(非合成)图像都包含一定程度的噪声。另一方面，微分是某种高通滤波器，会强调(高通)噪声与信号的比率。因此，为了避免由噪声引起的伪影，通常在任何图像微分之前进行图像平滑(或低通滤波)(我们在边缘检测中也有这样的过程)。代码正是这样做的，即在图像上应用和移动平均滤波器以减少噪声影响。

It_m = conv2(im1,[1,1;1,1]) + conv2(im2,[-1,-1;-1,-1]);