ffmpeg - 使用 dxva2 通过 ffmpeg 解码视频时无法执行 : 0x80070057,

Question

我已经使用 ffmpeg 成功实现了视频播放器。我现在尝试使用硬件解码，但遇到了几个问题。我在这里找到了一篇文章作为起点:https://ffmpeg.org/pipermail/libav-user/2014-August/007323.html

我已经更新了为解码器设置必要内容的代码。更新后的代码可在此处获取:https://drive.google.com/file/d/0B5ufHdoDzA4ieVk5UVpxcDNzRHc/view?usp=sharing

这就是我使用它来初始化解码器的方式:

// Prepare the decoding context
AVCodec *codec = nullptr;
_codecContext = _avFormatContext->streams[_streamIndex]->codec;
if ((codec = avcodec_find_decoder(_codecContext->codec_id)) == 0)
{
    std::cout << "Unsupported video codec!" << std::endl;
    return false;
}

_codecContext->thread_count = 1;  // Multithreading is apparently not compatible with hardware decoding
InputStream *ist = new InputStream();
ist->hwaccel_id = HWACCEL_AUTO;
ist->hwaccel_device = "dxva2";
ist->dec = codec;
ist->dec_ctx = _codecContext;
_codecContext->coded_width = _width;
_codecContext->coded_height = _height;

_codecContext->opaque = ist;
dxva2_init(_codecContext);

_codecContext->get_buffer2 = ist->hwaccel_get_buffer;
_codecContext->get_format = GetHwFormat;
_codecContext->thread_safe_callbacks = 1;

if (avcodec_open2(_codecContext, codec, nullptr) < 0)
{
    std::cout << "Video codec open error" << std::endl;
    return false;
}

这是上面引用的 GetHwFormat 的定义:

AVPixelFormat GetHwFormat(AVCodecContext *s, const AVPixelFormat *pix_fmts)
{
    InputStream* ist = (InputStream*)s->opaque;
    ist->active_hwaccel_id = HWACCEL_DXVA2;
    ist->hwaccel_pix_fmt = AV_PIX_FMT_DXVA2_VLD;
    return ist->hwaccel_pix_fmt;
}

当我打开高清分辨率或更低分辨率的 mp4(以 h264 编码)视频时，一切似乎都工作正常。但是，当我尝试使用更高分辨率的视频(例如 3840x2160)时，我会反复收到以下错误:

Failed to execute: 0x80070057
Hardware accelerator failed to decode picture

几秒钟后我也开始收到以下错误:

co located POCs unavailable

并且视频无法正确显示:我在视频中出现了很多伪影，并且存在滞后。我检查了ffmpeg源代码中的第一个错误。看来 IDirectXVideoDecoder_Execute 由于参数无效而失败。由于这种情况发生在 ffmpeg 中，所以一定有一些东西我丢失了，但我不知道是什么。我发现的与此错误相关的唯一相关帖子是由于多线程，但我在打开编解码器之前将 thread_count 设置为 1。

此问题发生在我的主计算机上，该计算机具有以下规范:

• i7-4790 CPU @ 3.6GHz
• 内存 16 GB
• 英特尔高清显卡 4600
• Windows 8.1

在我的第二台具有以下规范的计算机上没有发生同样的问题:

• i7 4510U @ 2GHz
• 内存 8 GB
• NVIDIA GeForce GTX 750Ti
• Windows 10

如果我在主计算机上使用 DXVAChecker，它表示我的显卡支持 H264_VLD_* 的 DXVA2，并且我可以看到正在对 Microsoft API 进行调用(DXVA2_DecodeDeviceCreated、DXVA2_DecodeDeviceBeginFrame、DXVA2_DecodeDeviceGetBuffer、DXVA2_DecodeDeviceExecute、DXVA2_DecodeDeviceEndFrame)，同时我的视频正在播放。

我也没有看到有硬件解码的版本和没有硬件解码的版本之间 GPU 使用率(在任何一台计算机上)有任何增加；但是，我确实看到 CPU 使用率有所下降(不过没有我预期的那么多)。这也很奇怪。

请注意，我尝试了 FFmpeg 网站上提供的 Windows 版本以及使用 --enable-dxva2 编译的版本。我已经搜索了很多，但找不到我做错了什么。

希望有人可以帮助我，或者给我指出一个更好的例子？

Answer 1

我终于知道我的问题是什么了。调用 avcodec_decode_video2 后，我没有像这样更新数据包的大小和数据指针:

int r = avcodec_decode_video2(_codecContext, frame, &frameDecoded, &pkt);
pkt.size -= r;
pkt.data += r;

现在，视频已正确解码，并且不再出现任何伪影。

此外，关于延迟，我认为这是一个单独的问题，与错误消息无关，并且由于将图像复制回 CPU 内存所需的时间所致。如果您需要执行此操作，而不是像我在上面的问题中发布的代码中那样使用 av_image_copy_plane，您可能想看看 VLC 的功能，或者访问此链接 https://software.intel.com/en-us/articles/copying-accelerated-video-decode-frame-buffers 。我在我的机器上做了一个快速测试，它把时间减少了 7 或 8 倍。