algorithm - 从原始视频中获取运动矢量

Question

我想知道是否有关于如何在原始视频流中获取宏 block 的运动矢量的好文(并且免费提供)。这在视频压缩中经常使用，尽管我的应用不是视频编码。

执行此操作的代码在 OSS 编解码器中可用，但通过阅读代码来理解该方法有点困难。

我的实际目标是确定相机在 2D 投影空间中的运动，假设相机只是改变它的方向(而不是位置)。我想做的是将帧划分为宏 block ，获取它们的运动矢量，并通过对这些矢量进行平均来获得相机运动。

我想 OpenCV 可以帮助解决这个问题，但它在我的目标平台上不可用。

Answer 1

通常的方法是简单的蛮力:将一个宏 block 与引用帧中的每个宏 block 进行比较，并使用给出最小残差的宏 block 。代码变得复杂主要是因为这通常是基于 mv 的压缩中最慢的部分，因此他们投入了大量工作来优化它，通常以牺牲可读性为代价。

特别是对于实时压缩，有些通过(例如)将搜索限制在原始位置 +/- 一些最大增量来减少工作量。这通常可以获得相当多的压缩速度，以换取相当小的压缩损失。