C++ 视频播放器 ffmpeg : get pixel data?

Question

我想获取一帧的像素数据。我发现了这个(在原始版本中作为旧代码)并更改了一些东西。

我有这个代码:

AVFormatContext *pFormatCtx;
pFormatCtx = avformat_alloc_context();
// Open file
if (int err = avformat_open_input(&pFormatCtx, file, NULL, 0) != 0)
{
    exit(2);
}
// Get infromation about streams
if (avformat_find_stream_info(pFormatCtx, NULL) < 0)
{
    exit(2);
}

// # video stream
int videoStreamIndex = -1;
AVCodecContext *pVideoCodecCtx;
AVCodec *pVideoCodec;
int res = 0;
int width = 0;
int height = 0;
for (unsigned int i = 0; i < pFormatCtx->nb_streams; i++)
{
    if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
    {
        videoStreamIndex = i;
        pVideoCodecCtx = pFormatCtx->streams[i]->codec;
        // Find decoder
        pVideoCodec = avcodec_find_decoder(pVideoCodecCtx->codec_id);
        if (pVideoCodec)
        {
            // Open decoder
            res = !(avcodec_open2(pVideoCodecCtx, pVideoCodec, NULL) < 0);
            width = pVideoCodecCtx->coded_width;
            height = pVideoCodecCtx->coded_height;
        }
        break;
    }
}
// Frame width
width = pFormatCtx->streams[videoStreamIndex]->codec->width;
// Frame height
height = pFormatCtx->streams[videoStreamIndex]->codec->height;


AVPacket packet;
int got_picture_ptr;
AVPacket *avpkt;
AVFrame * pOutFrame;
pOutFrame = av_frame_alloc();
AVFrame * rgbOutFrame = av_frame_alloc();

if (!pOutFrame) {
    fprintf(stderr, "Could not allocate video frame\n");
    exit(1);
}

while (av_read_frame(pFormatCtx, &packet) >= 0)
{
    if (packet.stream_index == videoStreamIndex) 
    {
        // Decode packeg to frame.
        int videoFrameBytes = avcodec_decode_video2(pVideoCodecCtx, pOutFrame,
            &got_picture_ptr, &packet);

        // Create context
        SwsContext* pImgConvertCtx = sws_getContext(pVideoCodecCtx->width,
            pVideoCodecCtx->height,
            pVideoCodecCtx->pix_fmt,
            pVideoCodecCtx->width, pVideoCodecCtx->height,
            AV_PIX_FMT_YUV420P,
            SWS_BICUBIC, NULL, NULL, NULL);
        // Convert frame
        sws_scale(pImgConvertCtx, pOutFrame->data, pOutFrame->linesize,
            width, height, rgbOutFrame->data, rgbOutFrame->linesize);
    }

}

我知道，来自 SwsContext 和 sws_scale 的代码是错误的，但我想知道，我在哪里可以找到我的帧的像素数据...(以及在哪个存储的格式)。

有人可以帮我吗？

Answer 1

像素数据存储在数据字段中。

根据文档:

uint8_t* AVFrame::data[AV_NUM_DATA_POINTERS]

pointer to the picture/channel planes.

看here获取更多信息。

一般来说，您的代码有点误导而且有很多错误。我可以指出一些缺点:

1) 您不需要在每个传入的视频数据包上创建新的 SwsContext。只需在 while 循环之前创建一次即可。

2) 接下来，您有一个 rgbOutFrame，但是 SwsContext 是为缩放到 YUV420 像素格式而创建的。看起来很奇怪。

3) 此外，avcodec_decode_video2 被调用，但您永远不会检查返回值和got_picture_ptr 标志。这种做法确实容易出错。

等等……

希望它能帮助您改进程序并获得必要的结果。