java - 使用 MediaExtractor 和 MediaCodec 在视频播放中跳帧

Question

我正在使用 MediaExtractor/MediaCodec 解码视频并将其渲染到 TextureView。作为模板，我使用了以下代码:https://github.com/vecio/MediaCodecDemo/blob/master/src/io/vec/demo/mediacodec/DecodeActivity.java

我希望能够以 2 倍速播放视频。幸运的是，媒体编码/解码速度足够快，因此我可以通过让 MediaCodec 解码每一帧来完成此操作，然后仅将每隔一帧渲染到屏幕上。然而，这并不是一个很好的解决方案，特别是如果你想增加一个任意值的播放。例如，在 10 倍速下，编解码器无法以足够快的速度解码帧，无法以 30 fps 的速度每 10 帧播放一次。

因此，我想通过多次调用 MediaExtractor.advance() 来跳过不需要解码的帧来控制播放。例如:

        ...
        mDecoder.queueInputBuffer(inIndex, 0, sampleSize, mExtractor.getSampleTime(), 0);
        for (i = 0; i < playbackSpeedIncrease; i++) {
               mExtractor.advance();
        }
        ...

使用这段代码，理论上提取器应该只提取每 nth 帧，其中 n 由变量“playbackSpeedIncrease”定义。例如，如果 n = 5，这应该前进到第 1-4 帧并且只提取第 5 帧。

然而，这在实践中行不通。当我运行这段代码时，呈现在屏幕上的图像失真了:

有人知道这是为什么吗？对于以任意速度增加播放视频的更好方法有什么建议吗？

Answer 1

您通常不能对 AVC 视频执行此操作。

编码视频具有包含完整图像的“关键”(或“同步”或“I”)帧，但关键帧之间的帧与之前的帧存在“差异”。你可以在维基百科上找到一些关于视频编码方法的文章，例如this one .您得到的视频很糟糕，因为您跳过了一个关键帧，现在正在根据错误的图像计算差异。

如果您曾经看过视频快进流畅但快退笨拙，例如在 TiVo 上，这就是原因:视频解码器快速向前播放，但反向播放 I 帧，将它们在屏幕上保持足够长的时间以获得所需的速率。在“更快”的正向/反向时，它会变平，因为设备只是在播放 I 帧。您可以通过观察从 MediaExtractor 获得的帧上的 SAMPLE_FLAG_SYNC 标志来做类似的事情。

一般来说，您只能以设备解码的速度播放视频，或者只播放关键帧。 (如果您足够了解特定编码中特定视频的布局，您可能会做得更好，例如播放 I 和 P 而不是 B，但我不确定这在 AVC 中是否可行。)

I帧的频率由视频编码器决定。它往往是每秒一到两个，但如果您从不同的来源获取视频，那么您可以预期 GOP 大小(图片组，即 I 帧之间有多少帧)会有所不同。