iOS:使用哪种增强现实 SDK 用于虚拟试衣间？

Question

我正在处理 iOS Augmented Reality项目，我需要整合虚拟穿衣概念的地方。
我试过OpenCV ，它仅在人脸检测场景中按我的意愿工作，但是当我做上半身部分时，这对我来说并没有按预期工作。
我用了UPPER_BODY_HAAR_CASCADE但它没有按预期工作

它就像



但我想要的输出是这样的



如果有人在 iOS 中实现了这个功能， 请回复我

Answer 1

不完全是您正在寻找的答案。您根据您选择的 sdk 制作您的应用程序。它们中的大多数使用起来非常昂贵，并且可能会因更改使用政策而受到影响。此外，您将不需要的所有广泛功能拖到应用程序中。因此，最终您的应用程序大小为 60-100MB。

如果我是你(并且我处于类似的情况)，我会开发自己的小 sdk 并具有你需要的功能。如果你知道怎么做，那么基本的工作需要几天时间。加上opencv，你的状态很好。

PS。 @Tommy 提出了一个有趣的问题。如何在此视频中实现类似的功能:youtube.com/watch?v=IBE11ROpxHE

添加一些太长无法评论的信息。

@Tommy 不错的视频。它似乎有我们需要进行的一切。首先，对于任何 AR 应用程序，您都需要您的相机(手机相机)校准信息。在简单的情况下，它包含两个矩阵:相机矩阵和失真矩阵。然后使用相机矩阵创建 opengl 投影矩阵(如何将 3d 模型投影到 2d 平面屏幕、视野、平面等)。例如，失真矩阵用于在检测到某些东西时扭曲输入帧的部分。在 watch 的示例中，我们需要检测皮带和 watch 主体，以便将 3d 模型放置在该位置。鉴于纸表没有与眼睛成 90 度角的理想视角，因此需要将其转换为这种视角。

换句话说，你的纸表看起来像这样:

  /---/
 /   /
/---/

对于分析和检测模型名称，您需要它如下所示:

 ---
|   |
|   |
 ---

这是使用失真矩阵进行精确变换的地方。不同的相机有自己的失真。

大多数应用程序使用所谓的离线校准。有一个棋盘及其输入到 opencv 函数中，这些函数可以检测具有不同视角的一系列帧上的单元格，并根据单元格的形状构建矩阵。

在您的情况下，您的 watch 皮带的设计方式可能会包含在线校准所需的所有内容。在您的视频中，它具有特殊的模式，我很确定它正是为此目的而完成的。为了简单起见，您也可以这样做并使用棋盘图案。

然后，您可以使用 25 个第一帧进行在线校准，然后使用所有矩阵来检测纸表，构建投影矩阵并用您的 3d 模型替换它。如果一切正常，那么您的纸质 watch 将在 3d 空间中具有坐标 0 0 0，您可以轻松地在该位置放置其他东西。