ios - 新的 iPhone X 前置摄像头深度和面部跟踪网格 API

Question

刚刚看了新iPhone X的发布会，前置摄像头的感应和追踪技术是否对开发者开放？舞台上演示了 Snapchat mask ，不确定是否使用 ARKit

Answer 1

是的，它对开发者开放。

如果您查看 ARKit docs page现在，您会看到它分为世界跟踪和面部跟踪部分(加上两者的一些共同点)。 World Tracking 是在 WWDC 上宣布的——使用后置摄像头“通过”你的设备查看你周围世界的 AR 内容。

人脸追踪 AR 专用于 iPhone X 和 TrueDepth 相机。正如您在这些文档中看到的那样，它使用 ARFaceTrackingConfiguration而不是其他配置类。并通过ARFaceAnchor实时为您提供面部信息。对象。

在面部 anchor 文档中，看起来有两种获取面部信息的方法。 geometry给你一个 3D 网格，你可以显示，或用来将纹理映射到脸上——这大概是 Snapchat 演示在主题演示中用来制作摔跤面具的东西。 blendShapes给你一堆动画参数，比如下巴张开的距离和左眼的斜视程度(以及大约 50 个其他更微妙的东西)......他们谈论用它来制作木偶或化身的动画，所以这可能就是如何动话表情有效。

Apple 还发布了 a sample code project showing how to do all of these ，因此您可以查看代码以了解如何自己完成。 (即使没有 iPhone X 也无法运行代码。)