ios - 在 iOS 上使用 CoreMedia.framework 解码视频

Question

我需要解码 mp4 文件并在 ios 应用程序中使用 OpenGL 绘制它。我需要从 mp4 文件中提取和解码 h264 帧，我听说使用 CoreMedia 可以做什么。有人知道该怎么做吗？有没有使用 CoreMedia 的例子？

Answer 1

您要找的不是 Core Media，而是 AVFoundation。特别是，您将使用 AVAssetReader 从您的电影中加载并遍历帧。然后，您可以使用 glTexImage2D() 或(在 iOS 5.0 上)使用更快的纹理缓存将这些帧作为 OpenGL ES 纹理上传。

如果你不想自己实现这个，我在我的 GPUImage 中通过 OpenGL ES 加载和处理基于 AVFoundation 的电影。框架。 GPUImageMovie 类封装了电影读取和上传到纹理的过程。如果您想提取该纹理以在您自己的场景中使用，您可以将 GPUImageTextureOutput 链接到它。在框架分发中的 SimpleVideoFileFilter 和 CubeExample 示例应用程序中可以找到这两个类的示例。

您可以直接使用它，或者只查看我编写的代码，以在 GPUImageMovie 类中执行这些相同的操作。