gpt4 book ai didi

ios - 如何使用 AVFoundation 播放带有 alpha channel 的视频?

转载 作者:可可西里 更新时间:2023-11-01 03:42:57 24 4
gpt4 key购买 nike

我有一个使用 SceneKit 的 AR 应用程序,并使用 AVPlayer 将视频导入到场景中,从而将其添加为 SKVideo< 的子节点 节点。

视频本来应该是可见的,但是没有达到视频的透明度。

代码如下:

let spriteKitScene = SKScene(size: CGSize(width: self.sceneView.frame.width, height: self.sceneView.frame.height))
spriteKitScene.scaleMode = .aspectFit

guard let fileURL = Bundle.main.url(forResource: "Triple_Tap_1", withExtension: "mp4") else {
return
}

let videoPlayer = AVPlayer(url: fileURL)
videoPlayer.actionAtItemEnd = .none

let videoSpriteKitNode = SKVideoNode(avPlayer: videoPlayer)
videoSpriteKitNode.position = CGPoint(x: spriteKitScene.size.width / 2.0, y: spriteKitScene.size.height / 2.0)
videoSpriteKitNode.size = spriteKitScene.size
videoSpriteKitNode.yScale = -1.0
videoSpriteKitNode.play()
spriteKitScene.backgroundColor = .clear
spriteKitScene.addChild(videoSpriteKitNode)

let background = SCNPlane(width: CGFloat(2), height: CGFloat(2))
background.firstMaterial?.diffuse.contents = spriteKitScene

let backgroundNode = SCNNode(geometry: background)
backgroundNode.position = position
backgroundNode.constraints = [SCNBillboardConstraint()]
backgroundNode.rotation.z = 0
self.sceneView.scene.rootNode.addChildNode(backgroundNode)

// Create a transform with a translation of 0.2 meters in front of the camera.
var translation = matrix_identity_float4x4
translation.columns.3.z = -0.2
let transform = simd_mul((self.session.currentFrame?.camera.transform)!, translation)

// Add a new anchor to the session.
let anchor = ARAnchor(transform: transform)
self.sceneView.session.add(anchor: anchor)

在这种情况下,实现 Triple_Tap_1 视频透明度的最佳方法是什么。我已经解决了关于这个主题的一些堆栈溢出问题,并发现唯一的解决方案是使用 Objective C 在 2013 年某处创建的 KittyBoom 存储库。

我希望社区能够针对这个问题提出更好的解决方案。 GPUImage 库不是我可以开始工作的东西。

最佳答案

我想出了两种方法来实现这一点。两者都使用表面着色器修改器。有关着色器修改器的详细信息,请参阅 Apple Developer Documentation .

这是一个 example project我创造了。


1。掩蔽

  1. 您需要创建另一个代表透明 mask 的视频。在该视频中,黑色 = 完全不透明,白色 = 完全透明(或您想要表示透明度的任何其他方式,您只需要修改表面着色器即可)。

  2. 使用此视频创建一个 SKScene,就像您在您提供的代码中所做的那样,并将其放入 material.transparent.contents(与您制作的相同 Material 将漫射视频内容放入)

    let spriteKitOpaqueScene = SKScene(...)
    let spriteKitMaskScene = SKScene(...)
    ... // creating SKVideoNodes and AVPlayers for each video etc

    let material = SCNMaterial()
    material.diffuse.contents = spriteKitOpaqueScene
    material.transparent.contents = spriteKitMaskScene

    let background = SCNPlane(...)
    background.materials = [material]
  3. 为 Material 添加表面着色器修改器。它将把蒙版视频中的黑色(好吧,实际上是红色,因为我们只需要一个颜色分量)“转换”为 alpha。

    let surfaceShader = "_surface.transparent.a = 1 - _surface.transparent.r;"
    material.shaderModifiers = [ .surface: surfaceShader ]

就是这样!现在 mask 视频上的白色在平面上将是透明的。

但是您必须格外小心地同步这两个视频,因为 AVPlayer 可能会不同步。遗憾的是,我没有时间在我的示例项目中解决这个问题(但是,我会在有时间的时候回来讨论它)。查看this question寻求可能的解决方案。

优点:

  • 没有工件(如果已同步)
  • 精确

缺点:

  • 需要两个视频而不是一个
  • 需要AVPlayer的同步

2.色度键控

  1. 您需要一个具有鲜艳色彩的视频作为背景,以代表应该透明的部分。通常使用绿色或洋红色。

  2. 像往常一样为此视频创建一个 SKScene,并将其放入 material.diffuse.contents

  3. 添加一个色度键表面着色器修改器,它会剪掉您选择的颜色并使这些区域透明。我借了这个shader from GPUImage我真的不知道它是如何工作的。不过this answer里面好像有解释.

     let surfaceShader =
    """
    uniform vec3 c_colorToReplace = vec3(0, 1, 0);
    uniform float c_thresholdSensitivity = 0.05;
    uniform float c_smoothing = 0.0;

    #pragma transparent
    #pragma body

    vec3 textureColor = _surface.diffuse.rgb;

    float maskY = 0.2989 * c_colorToReplace.r + 0.5866 * c_colorToReplace.g + 0.1145 * c_colorToReplace.b;
    float maskCr = 0.7132 * (c_colorToReplace.r - maskY);
    float maskCb = 0.5647 * (c_colorToReplace.b - maskY);

    float Y = 0.2989 * textureColor.r + 0.5866 * textureColor.g + 0.1145 * textureColor.b;
    float Cr = 0.7132 * (textureColor.r - Y);
    float Cb = 0.5647 * (textureColor.b - Y);

    float blendValue = smoothstep(c_thresholdSensitivity, c_thresholdSensitivity + c_smoothing, distance(vec2(Cr, Cb), vec2(maskCr, maskCb)));

    float a = blendValue;
    _surface.transparent.a = a;
    """

    shaderModifiers = [ .surface: surfaceShader ]

    要设置制服,请使用 setValue(:forKey:) 方法。

    let vector = SCNVector3(x: 0, y: 1, z: 0) // represents float RGB components
    setValue(vector, forKey: "c_colorToReplace")
    setValue(0.3 as Float, forKey: "c_smoothing")
    setValue(0.1 as Float, forKey: "c_thresholdSensitivity")

    as Float 部分很重要,否则 Swift 会将值转换为 Double 并且着色器将无法使用它。

    但要从中获得精确的掩蔽,您必须真正修改 c_smoothingc_thresholdSensitivity 制服。在我的示例项目中,我最终在形状周围添加了一点绿色边框,但也许我没有使用正确的值。

优点:

  • 只需要一个视频
  • 简单的设置

缺点:

  • 可能的伪像(边界周围的绿色边缘)

关于ios - 如何使用 AVFoundation 播放带有 alpha channel 的视频?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46225828/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com