iphone - 哪些 AR 库对于开发用于显示某些对象信息的 iOS 应用程序很有用？

Question

我正在为客户启动一个 AR 项目，其中涉及使用 AR 来显示有关某些对象的信息。例如，在这个项目中，用户将相机对准一辆车。根据用户正在查看汽车的哪个部分(前灯、挡风玻璃)，会出现一个按钮。当用户按下该按钮时，屏幕上会出现一个信息窗口，为用户提供有关该特定汽车部件的更多信息。

客户不希望在汽车上放置物理标记(二维码/图案)，因此必须以其他方式检测汽车部件。

我之前开发过 AR 应用程序，但基于用户位置和天空中生成的标记。我觉得这个系统并不完全适合客户的要求。

是否有人能够为我指出此类项目的正确方向(iOS 库)，以及它是否完全可行。

感谢您的投入，安迪。

Answer 1

您需要的是基于模型的跟踪器/6DOF 对象跟踪器。当您想要跟踪一辆汽车时，它肯定是没有特征的(或者您只会获得稀疏的特征)，因此您应该考虑无纹理的非平面 3D(对象)跟踪解决方案。

它现在几乎是最先进的(大量研究，很少产品/SDK)，但是使用像 OpenCV 这样的库和适当的文献(见下文)，您应该能够开发一个。您可以查看类似 ViSP 的开源解决方案库有一个基于模型的跟踪器模块，但没有官方的 iOS 端口。对于商业图书馆，最接近的是支持 SLAM 或“3D 对象跟踪”的 AR 图书馆。

就技术而言，您有不同的方法来处理这个问题，一些提示:

• 您可以使用基于模型的跟踪器，依靠边缘检测 + 对象的初始 CAD 模型:3D Textureless Object Detection and Tracking: An Edge-based Approach或 Harald Wuest, Folker Wientapper, Didier Stricker Adaptable Model-based Tracking Using Analysis-by-Synthesis TechniquesThe 12th International Computer Analysis of Images and Patterns (CAIP), 27-29th August 2007, Vienna, Austria.

• 您可以使用基于模型的跟踪器，依靠边缘检测+(经过训练的)模板图像

• 您可以将一些 SLAM 技术与基于模型的跟踪器结合使用。 M. Tamaazousti, V. Gay-Bellile, S. Naudet Collette, S. Bourgeois, M. Dhome Real-Time Accurate Localization in a Partially Known Environment:Application to Augmented Reality on textureless 3D Objects. TrakMark 2011, Basel, Switzerland 26-29/10/2011

• 如果您的系统仅在室内运行，您可以查看一些 RGBD 跟踪器 S. Hinterstoisser, V. Lepetit, S. Ilic, S. Holzer, G. Bradski, K. Konolige, N. NavabModel Based Training, Detection and Pose Estimation of Texture-Less 3D Objects in Heavily Cluttered Scenes Asian Conference on Computer Vision (ACCV), Korea, Daejeon, November 2012(访问software)