ffmpeg - 为什么AVFrame中的packet.pts !=frame->pkt_pts？

Question

尝试通过 ffmpeg 了解一些音频/视频同步问题，我注意到以下内容。运行此代码

while (av_read_frame(formatCtx, &packet) >= 0)
{
   if (packet.stream_index == videoStream)
   {
      avcodec_decode_video2(videoCodecCtx, frame, &got_frame, &packet);
   }

   printf("packet.pts = %d\n", packet.pts);
   printf("frame->pkt_pts", frame->pkt_pts);
}

显示frame->pkt_pts总体上与packet.pts不同，尽管文档声称frame->pkt_pts是

PTS copied from the AVPacket that was decoded to produce this frame

此外，我注意到两者之间的差异很大，正是在音频和视频不同步的地方。

那么，为什么是 packet.pts !=frame->pkt_pts ？

Answer 1

视频可能有延迟帧，这意味着输入帧和输出帧可能引用不同顺序的单元。例如。在MPEG的情况下，IBP的显示顺序被编码为IPB，并且输入点与输出点不同，并且重新排序在输入点和输出点之间引入延迟。此外，当使用多线程解码时，会在输入和输出之间添加 n_threads - 1 个数据包的额外延迟。在所有这些情况下，pkt.pts!=frame->pkt_pts。对于显示，您应该依赖frame->pkt_pts。