c++ - 使用 ffmpeg 创建视频

Question

我有 100 张图片 (PNG)，我想使用这些图片制作视频。为此，我正在使用 ffmpeg 库。使用命令行我可以轻松创建视频。但是我如何通过编码来做到这一点？

我们将不胜感激。

#pragma GCC diagnostic ignored "-Wdeprecated-declarations"


#include <stdlib.h>
#include <stdio.h>
#include <string.h>

#ifdef HAVE_AV_CONFIG_H
#undef HAVE_AV_CONFIG_H
#endif

extern "C"
{
#include "libavutil/imgutils.h"
#include "libavutil/opt.h"
#include "libavcodec/avcodec.h"
#include "libavutil/mathematics.h"
#include "libavutil/samplefmt.h"
}

#define INBUF_SIZE 4096
#define AUDIO_INBUF_SIZE 20480
#define AUDIO_REFILL_THRESH 4096




static void video_encode_example(const char *filename, int codec_id)
{
   AVCodec *codec;
   AVCodecContext *c= NULL;
   int i, out_size, size, x, y, outbuf_size;
   FILE *f;
   AVFrame *picture;
   uint8_t *outbuf;
   int nrOfFramesPerSecond  =25;
   int nrOfSeconds =1;


   printf("Video encoding\n");

//    find the mpeg1 video encoder
   codec = avcodec_find_encoder((CodecID) codec_id);
   if (!codec) {
       fprintf(stderr, "codec not found\n");
       exit(1);
   }

   c = avcodec_alloc_context3(codec);
   picture= avcodec_alloc_frame();

//    put sample parameters
   c->bit_rate = 400000;
//    resolution must be a multiple of two
   c->width = 352;
   c->height = 288;
//    frames per second
   c->time_base= (AVRational){1,25};
   c->gop_size = 10;  //emit one intra frame every ten frames
   c->max_b_frames=1;
   c->pix_fmt = PIX_FMT_YUV420P;

   if(codec_id == CODEC_ID_H264)
       av_opt_set(c->priv_data, "preset", "slow", 0);

//    open it
   if (avcodec_open2(c, codec, NULL) < 0) {
       fprintf(stderr, "could not open codec\n");
       exit(1);
   }

   f = fopen(filename, "wb");
   if (!f) {
       fprintf(stderr, "could not open %s\n", filename);
       exit(1);
   }

//    alloc image and output buffer
   outbuf_size = 100000;
   outbuf = (uint8_t*) malloc(outbuf_size);

//    the image can be allocated by any means and av_image_alloc() is
//    * just the most convenient way if av_malloc() is to be used
   av_image_alloc(picture->data, picture->linesize,
                  c->width, c->height, c->pix_fmt, 1);

//    encode 1 second of video
   int nrOfFramesTotal = nrOfFramesPerSecond * nrOfSeconds;

//    encode 1 second of video
   for(i=0;i < nrOfFramesTotal; i++) {
       fflush(stdout);
//        prepare a dummy image

       for(y=0;y<c->height;y++) {
           for(x=0;x<c->width;x++) {
               picture->data[0][y * picture->linesize[0] + x] = x + y + i * 3;
           }
       }

//        Cb and Cr
       for(y=0;y<c->height/2;y++) {
           for(x=0;x<c->width/2;x++) {
               picture->data[1][y * picture->linesize[1] + x] = 128 + y + i * 2;
               picture->data[2][y * picture->linesize[2] + x] = 64 + x + i * 5;
           }
       }

//        encode the image
       out_size = avcodec_encode_video(c, outbuf, outbuf_size, picture);
       printf("encoding frame %3d (size=%5d)\n", i, out_size);
       fwrite(outbuf, 1, out_size, f);
   }

//    get the delayed frames
   for(; out_size; i++) {
       fflush(stdout);

       out_size = avcodec_encode_video(c, outbuf, outbuf_size, NULL);
       printf("write frame %3d (size=%5d)\n", i, out_size);
       fwrite(outbuf, 1, out_size, f);
   }

//    add sequence end code to have a real mpeg file
   outbuf[0] = 0x00;
   outbuf[1] = 0x00;
   outbuf[2] = 0x01;
   outbuf[3] = 0xb7;
   fwrite(outbuf, 1, 4, f);
   fclose(f);
   free(outbuf);

   avcodec_close(c);
//   av_free(c);
//   av_free(picture->data[0]);
//   av_free(picture);
   printf("\n");
}

int main(int argc, char **argv)
{
   const char *filename;


   avcodec_register_all();

   if (argc <= 1) {

       video_encode_example("/home/radix/Desktop/OpenCV/FFMPEG_Output/op89.png", AV_CODEC_ID_H264);
   } else {
       filename = argv[1];
   }


   return 0;
}

• 每次搜索时我都会得到与此类似的代码。但我不明白用它从图像创建视频有什么好处。

Answer 1

这个问题一次又一次出现的原因是因为您正在使用 encoding_example.c作为您的引用。请不要那样做。这个例子中最根本的错误是它没有告诉你编解码器和容器之间的区别。事实上，它完全忽略了容器。

什么是编解码器？编解码器是一种压缩媒体类型的方法。例如，H264 将压缩原始视频。想象一个 1080p 视频帧，它通常采用 YUV 格式，具有 4:2:0 色度子采样。原始数据，这是每帧 1080*1920*3/2 字节，即 ~3MB/f。对于 60fps，这是 180MB/秒，或 1.44 吉比特/秒 (gbps)。这是很多数据，所以我们压缩它。在该分辨率下，对于 H264、HEVC 或 VP9 等现代编解码器，您可以获得几兆比特/秒 (mbps) 的质量。对于音频，AAC 或 Opus 等编解码器很受欢迎。

什么是容器？容器接收视频或音频(或字幕)数据包(压缩或未压缩)并将它们交织在一起，以便组合存储在单个输出文件中。因此，您得到的不是一个视频文件和一个音频文件，而是一个将两者的数据包交织在一起的文件。这允许有效的查找和索引，它通常还允许添加元数据存储(“作者”、“标题”)等。流行容器的示例有 MOV、MP4(实际上只是 mov)、AVI、Ogg、Matroska 或 WebM(实际上只是 matroska)。

(如果需要，您可以将纯视频数据存储在文件中。对于 H264，这称为“annexb”原始 H264。这实际上是您在上面所做的。那么为什么它不起作用？好吧，您正在忽略 SPS 和 PPS 之类的“ header ”数据包。这些位于 avctx->extradata 中，需要在第一个视频数据包之前写入。使用容器会为您解决这个问题，但您没有，所以它没用。)

如何在 FFmpeg 中使用容器？参见例如this发布，特别是调用函数的部分，如 avformat_write_*() (基本上任何听起来像输出的东西)。我很乐意回答更具体的问题，但我认为上面的帖子应该能为您消除大部分困惑。