avfoundation - 是否可以在 AVMutableComposition 上同时使用 CIFilter 和 GPUImage 过滤器？

Question

我有一个 AVMutableComposition 有两个轨道(一个用于视频和音频)，它组合了多个视频(作为片段:AVCompositionTrackSegment)用于播放。我必须对选定的视频而不是整个作品应用过滤器(当我总共有 4 个片段时，可以说在第 2 和第 4 片段上)。例如，如果用户选择在视频 2 上应用过滤器，那么我使用 AVMutableVideoComposition(asset: AVAsset, applyingCIFiltersWithHandler: (AVAsynchronousCIImageFilteringRequest) -> Void) 在相应的合成持续时间内应用该过滤器。它工作正常。

现在我想使用一些自定义过滤器，这些过滤器是使用 GPUImage 库创建的。所以我的问题是 GPUImage 是否有一个 API 可以在选定的段上或在 AVMutableComposition 的特定持续时间内应用过滤器？这样我就可以将 CIFilter 用于内置过滤器，将 GPUImage 用于自定义过滤器。

Answer 1

是的，这就是您可以使用 AVVideoCompositing 的地方，在视频合成中，您可以使用自定义合成器，您可以在其中将每个轨道定义为轨道 ID，然后通过此 trackId，您将获得 frameBuffer，您可以使用该帧缓冲区做任何事情，就像您可以使用gpuImage 用于自定义过滤器，或者您可以使用 Metal 来创建自定义过滤器。这个主题中有苹果工程师制作的示例项目，您可以看到它。引用链接: https://developer.apple.com/documentation/avfoundation/avvideocompositing?language=objc https://github.com/ElfSundae/AVDemo/tree/master/AVCustomEdit