video - block 运动补偿编码器 - 如何处理引用帧中的 block 噪声？

Question

我在任何方面都不精通视频压缩，但目前正在从事一个使用 H.264 压缩残差图像的项目

我的问题更多是关于视频编码器的一般性问题。据我了解(正如维基百科所解释的那样)， block 运动补偿编码器将当前帧分成一些不重叠的 block ，对于每个 block ，它检查当前 block 来自的引用帧，然后计算所需的 block 和运动补偿 block ，然后它以某种方式编码这个残差。

维基百科指出:“ block 运动补偿的主要缺点是它在 block 边界处引入了不连续性( block 伪影)。这些伪影以锐利的水平和垂直边缘的形式出现，很容易被人眼发现并产生用于残差帧变换编码的傅里叶相关变换中的振铃效应(高频子带中的大系数)。"

因此，由于引用帧已经包含 block 伪影(因为它被编码)，然后这些 block 伪影被转移到当前 block 并计算残差，然后由 block 伪影创建的高频在移动 block 的边界也将显示为残差中的不连续性。不连续性通常不利于压缩。

运动补偿 block 编码器是否会在压缩残差之前以某种方式处理这种 block 伪影？因为它确切地知道 block 是如何移动的，所以它知道 block 边界的位置，并且可以在编码残差之前或同时对它们做一些事情，移除/忽略这个地方不必要的高频。如果在像 H.264 这样的编解码器中执行类似的操作，有人可以解释编码器如何执行此操作的主要概念，给出一些术语等等吗？编码器如何处理引用帧中的 block 伪像？

Answer 1

@Mat:这是一个很好的问题，很可能是视频编码研究的一个开放领域。简短的回答是，据我所知，如今的视频编码器并未明确采取任何措施来处理 block 伪影对运动估计的影响。

在低细节区域的快速运动的情况下，如果存在明显的 block 伪影，运动矢量有时可能是 block 大小的倍数 :) 或者换句话说，运动估计会找到 block 中的 block 前一帧而不是原始图像的细节。这可能很少见；它需要快速运动、图像中相当无特征的区域以及明显不足的比特率。您或许可以构建合成视频序列来证明这一点。区 block 边界的知识是否有任何帮助尚不清楚；如果 block 边缘在下一帧的残差中引入高频分量，那么我们必须花费比特来删除/纠正那些人为引入的分量，无论我们是否知道它们来自 block 工件......即使这样，与使用不同的引用区域/运动矢量/ block 类型相比，在这方面花费一些钱可能是更好的决定。

但是，H.264 和 VP8 等现代编解码器具有 in-loop deblocking filter ，换句话说，解码帧在用作引用之前会被去 block 化，这会减少 block 噪声，因此可能会最大限度地减少您已正确识别的问题的影响。