ffmpeg - 直接来自 NVENC 编码器的 RTMP 直播

Question

我正在尝试创建一个包含使用 NVIDIA OptiX 生成的动画的实时 RTMP 流。该流将由 nginx + rtmp 模块接收并以 MPEG-DASH 格式广播。如果首先将视频保存到 .flv 文件，然后我使用 ffmpeg 发送它而不使用命令重新格式化，则到 dash.js 播放器的完整链正在工作:

ffmpeg -re -i my_video.flv -c:v copy -f flv rtmp://x.x.x.x:1935/dash/test

但我想直接从代码中流式传输。有了这个我失败了...... Nginx 记录一个错误“破折号:收到无效的 avcc(2:没有这样的文件或目录)”。然后它似乎正确接收了流(片段正在滚动，破折号 list 在那里)，但是无法在浏览器中播放流。

我只能看到直接流和来自文件的流在 list 中的一个区别。缺少直接流中表示的编解码器属性:codecs="avcc1.000000"而不是从文件流式传输时得到的“avc1.640028”。

我的代码打开流:

av_register_all();
AVOutputFormat* fmt = av_guess_format("flv",
file_name, nullptr);
fmt->video_codec = AV_CODEC_ID_H264;

AVFormatContext* _oc;
avformat_alloc_output_context2(&_oc, fmt, nullptr, "rtmp://x.x.x.x:1935/dash/test");

AVStream* _vs = avformat_new_stream(_oc, nullptr);
_vs->id = 0;
_vs->time_base = AVRational { 1, 25 };
_vs->avg_frame_rate = AVRational{ 25, 1 };

AVCodecParameters *vpar = _vs->codecpar;
vpar->codec_id = fmt->video_codec;
vpar->codec_type = AVMEDIA_TYPE_VIDEO;
vpar->format = AV_PIX_FMT_YUV420P;
vpar->profile = FF_PROFILE_H264_HIGH;
vpar->level = _level;
vpar->width = _width;
vpar->height = _height;
vpar->bit_rate = _avg_bitrate;

avio_open(&_oc->pb, _oc->filename, AVIO_FLAG_WRITE);
avformat_write_header(_oc, nullptr);

我从 NVENC 编码器设置中获得的宽度、高度、比特率、电平和配置文件。我也做了错误检查，这里省略了。然后我有一个循环写入每个编码的数据包，IDR 帧等都使用 NVENC 动态准备。循环体是:

auto & pkt_data = _packets[i];
AVPacket pkt = { 0 };
av_init_packet(&pkt);
pkt.pts = av_rescale_q(_n_frames++, AVRational{ 1, 25 }, _vs->time_base);
pkt.duration = av_rescale_q(1, AVRational{ 1, 25 }, _vs->time_base);
pkt.dts = pkt.pts;
pkt.stream_index = _vs->index;
pkt.data = pkt_data.data();
pkt.size = (int)pkt_data.size();

if (!memcmp(pkt_data.data(), "\x00\x00\x00\x01\x67", 5))
{
    pkt.flags |= AV_PKT_FLAG_KEY;
}

av_write_frame(_oc, &pkt);

显然ffmpeg正在某处编写avcc代码......我不知道在哪里添加此代码以便RTMP服务器可以识别它。还是我错过了其他东西？

任何提示都非常感谢，伙计们!

Answer 1

感谢 Gyan 的评论，我能够解决这个问题。关注 AV_CODEC_FLAG_GLOBAL_HEADER wrapper 中的标志可以看到如何添加全局 header ，这在我的情况下是缺失的。可以直接使用NVENC API函数nvEncGetSequenceParams ，但是由于我无论如何都在使用SDK，所以它更干净一些。

所以我不得不将标题附加到 AVCodecParameters::extradata :

std::vector<uint8_t> payload;
_encoder->GetSequenceParams(payload);
vpar->extradata_size = payload.size();
vpar->extradata = (uint8_t*)av_mallocz(payload.size() + AV_INPUT_BUFFER_PADDING_SIZE);
memcpy(vpar->extradata, payload.data(), payload.size());

_encoder是我的 NvEncoder 的实例来自 SDK。

wrapper正在做同样的事情，但是使用不推荐使用的结构 AVCodecContext .