swift - 在实时相机预览上应用自定义相机滤镜 - Swift

Question

我希望在 Swift 3/4 中制作原生 iPhone iOS 应用程序，它使用后置摄像头的实时预览，并允许用户像在内置相机应用程序中一样应用滤镜。我的想法是通过调整色调/RGB/亮度级别等来创建自己的过滤器。最终我想创建一个 HUE slider ，允许用户在实时预览中过滤特定颜色。

我遇到的类似问题的所有答案都是 > 2 年前发布的，我什至不确定它们是否为我提供了我正在寻找的相关、最新的解决方案。

我不想先拍照，然后再应用滤镜。我正在寻找与 native 相机应用程序相同的功能。在您看到相机预览时实时应用滤镜。

如何创建此功能？这可以使用 AVFoundation 实现吗？ AV工具包？也许这个功能可以用 ARKit 实现吗？

Answer 1

是的，您可以通过使用 AVFoundation 捕获系统捕获视频并使用您自己的渲染器来处理和显示视频帧，从而将图像过滤器应用于相机源。

Apple 有一个名为 AVCamPhotoFilter 的示例代码项目它就是这样做的，并展示了使用 Metal 或 Core Image 的多种方法。关键点是:

1. 使用 AVCaptureVideoDataOutput 获取实时视频帧。
2. 使用 CVMetalTextureCache 或 CVPixelBufferPool 让您最喜欢的渲染技术可以访问视频像素缓冲区。
3. 使用 Metal(或 OpenGL 或其他)和 Metal 着色器或 Core Image 过滤器绘制纹理，以便在渲染过程中在 CPU 上进行像素处理。

顺便说一句，如果您只想对摄像头画面进行图像处理，ARKit 就太过分了。 ARKit 适用于当您想了解相机与现实世界空间的关系时，主要用于绘制似乎存在于现实世界中的 3D 内容等目的。