iOS:视频作为具有 alpha 透明度的 GL 纹理

Question

我正在尝试找出在 GL 纹理上显示视频同时保持 alpha channel 透明度的最佳方法。

关于视频作为 GL 纹理的信息在这里:Is it possible using video as texture for GL in iOS?和 iOS4: how do I use video file as an OpenGL texture? .

这里使用 ffmpeg 来帮助提高 alpha 透明度，但对应用商店不友好: iPhone: Display a semi-transparent video on top of a UIView?

视频源将在用于色度键控的绿色屏幕前拍摄。视频可以保持原样以离开绿屏或在视频编辑套件中处理并导出到 Quicktime Animation 或 Apple Pro Res 4444 with Alpha。

我认为有多种方法可能有效，但我还没有找到完整的解决方案。

1. 寻找绿色去除的视频的实时阈值处理
2. 找出如何使用上述 Quicktime 编解码器来保留 alpha channel
3. 将两个视频混合在一起:1) 使用 RGB 的主视频 2) 使用 alpha 蒙版的单独视频

我很想听听您对 iOS 和 OpenGL ES 2.0 最佳方法的看法

谢谢。

Answer 1

为电影和另一个场景的简单混合进行色度键控的最简单方法是使用我的 GPUImage 中的 GPUImageChromaKeyBlendFilter。框架。您可以将电影源作为 GPUImageMovie 提供，然后将其与您的背景内容混合。色度键过滤器允许您指定一种颜色、与该颜色的接近度以及要在替换操作中使用的混合平滑度。所有这些都是通过调谐着色器进行 GPU 加速的。

图像、电影和实时摄像机可以用作源，但如果您希望在电影后面使用 OpenGL ES 内容渲染这些内容，我建议将您的 OpenGL ES 内容渲染到纹理支持的 FBO 并将其传递通过 GPUImageTextureInput 输入纹理。

您可能会使用它来输出包含电影帧的纹理，其中键控颜色也被具有 0 alpha channel 的常量颜色替换。可以使用 GPUImageTextureOutput 提取此纹理，以便稍后在您的 OpenGL ES 场景中使用。