c - 了解 FFMPEG 视频编码

Question

从 ffmpeg 中的编码示例中获取。我可以在某种程度上遵循作者的音频编码示例，但我发现自己在看 C 代码时感到困惑(我在 block 号中注释以帮助我引用我在说什么)...

static void video_encode_example(const char *filename)
{
AVCodec *codec;
AVCodecContext *c= NULL;
int i, out_size, size, x, y, outbuf_size;
FILE *f;
AVFrame *picture;
uint8_t *outbuf, *picture_buf;              //BLOCK ONE
printf("Video encoding\n");

/* find the mpeg1 video encoder */
codec = avcodec_find_encoder(CODEC_ID_MPEG1VIDEO);
if (!codec) {
    fprintf(stderr, "codec not found\n");
    exit(1);                                //BLOCK TWO
}

c= avcodec_alloc_context();
picture= avcodec_alloc_frame();
/* put sample parameters */
c->bit_rate = 400000;
/* resolution must be a multiple of two */
c->width = 352;
c->height = 288;
/* frames per second */
c->time_base= (AVRational){1,25};
c->gop_size = 10; /* emit one intra frame every ten frames */
c->max_b_frames=1;
c->pix_fmt = PIX_FMT_YUV420P;                   //BLOCK THREE

/* open it */
if (avcodec_open(c, codec) < 0) {
    fprintf(stderr, "could not open codec\n");
    exit(1);
}
f = fopen(filename, "wb");
if (!f) {
    fprintf(stderr, "could not open %s\n", filename);
    exit(1);
}                                               //BLOCK FOUR

/* alloc image and output buffer */
outbuf_size = 100000;
outbuf = malloc(outbuf_size);
size = c->width * c->height;
picture_buf = malloc((size * 3) / 2); /* size for YUV 420 */
picture->data[0] = picture_buf;
picture->data[1] = picture->data[0] + size;
picture->data[2] = picture->data[1] + size / 4;
picture->linesize[0] = c->width;
picture->linesize[1] = c->width / 2;
picture->linesize[2] = c->width / 2;              //BLOCK FIVE

/* encode 1 second of video */
for(i=0;i<25;i++) {
    fflush(stdout);
    /* prepare a dummy image */
    /* Y */
    for(y=0;y<c->height;y++) {
        for(x=0;x<c->width;x++) {
            picture->data[0][y * picture->linesize[0] + x] = x + y + i * 3;
        }
    }                                            //BLOCK SIX

    /* Cb and Cr */
    for(y=0;y<c->height/2;y++) {
        for(x=0;x<c->width/2;x++) {
            picture->data[1][y * picture->linesize[1] + x] = 128 + y + i * 2;
            picture->data[2][y * picture->linesize[2] + x] = 64 + x + i * 5;
        }
    }                                           //BLOCK SEVEN

    /* encode the image */
    out_size = avcodec_encode_video(c, outbuf, outbuf_size, picture);
    printf("encoding frame %3d (size=%5d)\n", i, out_size);
    fwrite(outbuf, 1, out_size, f);
}                                              //BLOCK EIGHT

/* get the delayed frames */
for(; out_size; i++) {
    fflush(stdout);
    out_size = avcodec_encode_video(c, outbuf, outbuf_size, NULL);
    printf("write frame %3d (size=%5d)\n", i, out_size);
    fwrite(outbuf, 1, out_size, f);
}                                             //BLOCK NINE

/* add sequence end code to have a real mpeg file */
outbuf[0] = 0x00;
outbuf[1] = 0x00;
outbuf[2] = 0x01;
outbuf[3] = 0xb7;
fwrite(outbuf, 1, 4, f);
fclose(f);
free(picture_buf);
free(outbuf);
avcodec_close(c);
av_free(c);
av_free(picture);
}                                            //BLOCK TEN

这是我可以从作者的代码中逐 block 获得的...

第一 block :初始化变量和指针。我在 ffmpeg 源代码中找不到 AVFrame 结构，所以我不知道它的引用是什么

block 二:使用文件中的编解码器，如果没有找到的话。

第三 block :设置示例视频参数。我唯一没有真正得到的是 gop 大小。我阅读了有关帧内帧的信息，但我仍然不明白它们是什么。

第四 block :打开文件进行写入...

第五 block :这是他们真正开始失去我的地方。部分可能是因为我不知道AVFrame到底是什么，但为什么他们只使用图像大小的3/2？

第 6 和第 7 block :我不明白他们试图用这个数学来完成什么。

第 8 block :看起来 avcodec 函数完成了这里的所有工作，暂时不关心它..

第 9 block :因为它在循环的 25 帧之外，我假设它得到了剩余的帧？

第十 block :关闭，释放内存等......

我知道这是一大段容易混淆的代码，任何输入都会有所帮助。我在工作中陷入困境。提前致谢。

Answer 1

正如 HonkyTonk 已经回复的那样，评论说明了这一点:准备一个虚拟图像。我猜您可能对生成虚拟图像的确切方式感到困惑，尤其是当您不熟悉 YUV/YCbCr 色彩空间时。 Read the Wikipedia treatment for the basics .

许多视频编解码器在 YUV 色彩空间中运行。这常常让只习惯于处理 RGB 的程序员感到困惑。执行摘要是，对于这种变体(YUV 4:2:0 平面)，图像中的每个像素都获得一个 Y 样本(注意 Y 循环迭代每个 (x,y) 对)，而每个 2x2 像素四边形共享一个 U/Cb 样本和一个 V/Cr 样本(注意在 block 7 中迭代超过 width/2 和 height/2)。

看起来生成的图案是某种渐变。如果要产生已知变化，请将 Y/Cb/Cr 设置为 0，虚拟图像将全部为绿色。将 Cb 和 Cr 设置为 128，将 Y 设置为 255，得到一个白框；将 Y 滑动到 0 以查看黑色；将 Y 设置为介于两者之间的任何值，同时将 Cb 和 Cr 保持在 128，以便查看灰色阴影。