ffmpeg - 解码的 H.264 给出不同的帧和上下文大小

Question

我们使用 avcodec 解码 H.264，在某些情况下，更改分辨率后，avcodec 会感到困惑，并为解码帧提供两种不同的大小:

if (av_init_packet_dll)
    av_init_packet_dll(&avpkt);

avpkt.data  = pBuffer;
avpkt.size  = lBuffer;

//  Make sure the output frame has NULLs for the data lines
pAVFrame->data[0]   = NULL;
pAVFrame->data[1]   = NULL;
pAVFrame->data[2]   = NULL;
pAVFrame->data[3]   = NULL;

res = avcodec_decode_video2_dll(pCodecCtx, pAVFrame, &FrameFinished, &avpkt);

DEBUG_LOG("Decoded frame: %d, %d, resulting dimensions: context: %dx%d, frame: %dx%d\n", res, FrameFinished, pCodecCtx->width, pCodecCtx->height, pAVFrame->width, pAVFrame->height);

if (pCodecCtx->width != pAVFrame->width || pCodecCtx->height != pAVFrame->height) {
    OutputDebugStringA("Size mismatch, ignoring frame!\n");
    FrameFinished = 0;
}

if (FrameFinished == 0)
    OutputDebugStringA("Unfinished frame\n");

这将导致此日志(带有一些周围的行):

[5392] Decoded frame: 18690, 1, resulting dimensions: context: 640x480, frame: 640x480
[5392] Set dimensions to 640x480 in DecodeFromMap
[5392] checking size 640x480 against 640x480
[5392] Drawing 640x480, 640x480, 640x480, 0x05DB0060, 0x05DFB5C0, 0x05E0E360, 0x280, to surface 0x03198100, 1280x800
[5392] Drawing 640x480, 640x480, 640x480, 0x05DB0060, 0x05DFB5C0, 0x05E0E360, 0x280, to surface 0x03198100, 1280x800
[5392] Delayed frames seen. Reenabling low delay requires a codec flush.
[5392] Reinit context to 1280x800, pix_fmt: yuvj420p
*[5392] Decoded frame: 54363, 1, resulting dimensions: context: 1280x800, frame: 640x480
[5392] Set dimensions to 1280x800 in DecodeFromMap
[5392] checking size 1280x800 against 640x480
[5392] Found adapter NVIDIA GeForce GTX 650 ({D7B71E3E-4C86-11CF-4E68-7E291CC2C435}) on monitor 00020003
[5392] Found adapter NVIDIA GeForce GTX 650 ({D7B71E3E-4C86-11CF-4E68-7E291CC2C435}) on monitor FA650589
[5392] Creating Direct3D interface on adapter 1 at 1280x800 window 0015050C
[5392] Direct3D created using hardware vertex processing on HAL.
[5392] Creating D3D surface of 1280x800
[5392] Result 0x00000000, got surface 0x03210C40
[5392] Drawing 1280x800, 1280x800, 640x480, 0x02E3B0A0, 0x02E86600, 0x02E993A0, 0x280, to surface 0x03210C40, 1280x800

中断的行标有 * . pAVFrame包含旧框架尺寸，而 pCodecCtx包含新维度。当绘图代码尝试以 1280x800 图像的形式访问数据时，它会遇到访问冲突。

减小尺寸时，avcodec 正确转换，并设置 FrameFinished到 0 并离开 pAVFrame分辨率为 0x0。

谁能想到是什么原因造成的，为什么 avcodec 报告成功，但没有做任何事情，以及我能做些什么来正确解决这个问题？

目前，不匹配检查正在防止这种情况。

使用的 avcodec 是由 Zeranoe 从 git-5cba529 构建的。

FFmpeg version: 2015-03-31 git-5cba529
  libavutil      54. 21.100 / 54. 21.100
  libavcodec     56. 32.100 / 56. 32.100

Answer 1

AVCodecContext.width/height 不保证与 AVFrame.width/height 相同。出于任何实际目的，请使用 AVFrame.width/height。

AVCodecContext.width/height 是解码器当前状态的大小，可能比返回给用户的 AVFrame 提前几帧。示例:假设您在任何 MPEG 风格的编解码器中都有一个 IBPBP 的显示序列，它被编码为 IPBPB。让我们假设存在可伸缩性，因此每个帧都有不同的大小。当 P 被消耗时，它还没有返回，而是返回了一个更早的帧。在这个例子中，当 P1 被解码时，什么都不返回，当 B1 被解码时，它被返回(在 P1 之前)，当 P2 被解码时，P1 被返回。如果每个 P 的大小不同，这意味着当您解码 P2 时，P1 会返回给用户，因此 AVCodecContext.w/h 和 AVFrame.w/h 是不同的(因为一个反射(reflect) P2，而另一个反射(reflect) P1 )。发生这种情况的另一个示例是启用帧级多线程时。

在所有情况下，依赖 AVFrame.width/height，而忽略 AVCodecContext.width/height。