swift - 让 AR 视频适应背景

Question

我有一个视频，当在 AR 场景中检测到他的第一帧时开始播放。这幅画似乎栩栩如生。视频和图片用相同的颜色绘制。如何动态调整视频以适应不同光照的场景？

What I have now – color of video is very different from background color
What I want to achieve. Example 1
What I want to achieve. Example 2 in another lighting
.
我使用 SceneKit
我在 SKScene 上添加了 SKVideoNode
我在方法中编写了代码

func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor)

Answer 1

在 ARKit 2 中，您可以使用 ARWorldTrackingConfiguration 的 environmentTexturing 属性向场景添加逼真的光照。如果您不需要非常具体，则可以将其设置为 .automatic；如果您想完全控制环境纹理，则可以将其设置为 .manual

https://developer.apple.com/documentation/arkit/adding_realistic_reflections_to_an_ar_experience本页更好地解释了环境纹理

对于 ARImageTrackingConfiguration，您可以向视频场景添加灯光并使用 ARLightingEstimate 中的属性更新其灯光。从 ARSession 的 currentFrame 属性获取 ARLightingEstimate，或者通过将 View Controller 设置为委托(delegate)并使用 session didUpdate 框架 方法