gpt4 book ai didi

ios - 如何在 iOS 中使用 OpenGL 播放视频?

转载 作者:塔克拉玛干 更新时间:2023-11-02 10:27:50 29 4
gpt4 key购买 nike

我正在尝试在 iOS 中使用 OpenGL ES 2.0 播放视频。我无法获得示例代码或如何实现此目标的起点。有人可以帮我解决这个问题吗?

最佳答案

您正在寻找的是实时获取视频的原始缓冲区。我相信您需要查看 AVFoundation 并以某种方式提取 CVPixelBufferRef。如果我没记错的话,你有几种方法;一个在特定时间按需处理,另一个用于处理,您将在 block 中快速迭代帧,而您可能需要的是实时接收帧。因此,您可以提取原始 RGB 缓冲区,将其推送到纹理,然后绘制到渲染缓冲区。

我建议您创建一次纹理(每个视频)并尝试使其尽可能小,但要确保视频帧适合。您可能需要 POT(2 的幂)纹理,以便从视频宽度中获取纹理尺寸,您需要类似以下内容:

GLInt textureWidth = 1.0f;
while(textureWidth<videoWidth) textureWidth <<= 1; // Multiplies by 2

因此纹理尺寸预计会比视频大。要将数据推送到纹理,您需要使用纹理子图像 glTexSubImage2D。它需要一个指向原始数据和矩形参数的指针,用于保存数据,然后是 (0, 0, sampleWidth, sampleHeight)。然后还必须计算纹理坐标,以便它们不在 [0, 1] 范围内,而是针对 x:[0, sampleWidth/textureWidth]

那么你只需要将它们放在一起:

  • 拥有一个持续生成视频原始样本缓冲区的系统
  • 生成适合视频大小的纹理
  • 在新样本上使用 glTexSubImage2D 更新纹理(注意线程)
  • 将数据加载到纹理后,将纹理绘制为全屏矩形(注意线程)

您可能需要注意视频方向、转换。因此,如果可能,请使用设备上不同方向录制的一些视频来测试您的系统。我认为现在支持接收已经正确定向的缓冲区。但默认情况下,样本至少曾经是“错误的”;纵向录制的视频仍然有横向样本,但 Assets 给出了转换矩阵或方向。

关于ios - 如何在 iOS 中使用 OpenGL 播放视频?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40102587/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com