augmented-reality - ARCore 使用哪些传感器？

Question

ARCore 在兼容手机中使用哪些传感器:单摄像头、双摄像头、IMU 等？

此外，如果传感器无法通过切换到其自身精度较低的版本而无法使用，ARCore 的动态是否足以继续工作？

Answer 1

更新日期:2022 年 5 月 10 日。

关于 ARCore 和 ARKit 传感器

Google 的 ARCore 以及 Apple 的 ARKit 使用一组类似的传感器来跟踪现实世界的环境。 ARCore 可以使用单个 RGB 摄像头和 IMU，IMU 是加速度计、磁力计和陀螺仪的组合。您的手机以 60 fps 运行世界跟踪，而惯性测量单元以 1000 Hz 运行。此外，ARCore 中还可以使用一种传感器——用于场景重建的 iToF 相机(苹果的名称是 LiDAR)。 ARCore 1.25 支持Raw Depth API and Full Depth API .

阅读 Google 关于基于相机 + IMU 构建的 COM 方法的说法:

Concurrent Odometry and Mapping – An electronic device tracks its motion in an environment while building a three-dimensional visual representation of the environment that is used for fixing a drift in the tracked motion.

这是 Google US15595617 专利:System and method for concurrent odometry and mapping .

• 2014...2017 年 Google 倾向于使用 Multicam + DepthCam 配置(Tango 项目)
• 2018...2020 年 Google 倾向于SingleCam + IMU 配置
• 2021 年，Google 恢复了 Multicam + DepthCam 配置

我们都知道Android设备最大的问题是校准。 iOS 设备不存在此问题(因为 Apple 控制自己的硬件和软件)。低质量的校准会导致 3D 跟踪错误，因此所有虚拟 3D 对象可能会“漂浮”在跟踪不良的场景中。 如果您使用没有 iToF 传感器的手机，则没有神奇的按钮可以防止不良跟踪(并且您无法切换到不太准确的跟踪版本)。在这种情况下，唯一的解决方案是从头开始重新跟踪场景。但是，当您的设备配备 ToF 摄像头时，跟踪质量会更高。

以下是获得良好跟踪结果的四个主要规则(如果您没有 ToF 摄像头):

1. 跟踪场景不要太快，也不要太慢

2. 追踪 appropriate surfaces和对象

3. 跟踪时使用光线充足的环境

4. 不跟踪折射物体的反射

5. 水平面比垂直面更可靠

单摄像头配置与多摄像头配置

ARCore 最大的问题之一(这也是 ARKit 问题)是能源影响。我们知道帧速率越高，跟踪结果就越好。但 30 fps 时的能量影响很高，而 60 fps 时则非常高。这种能源影响将很快耗尽智能手机的电池(由于 CPU/GPU 的巨大负担)。因此，想象一下您为 ARCore 使用 2 个摄像头 – 您的手机必须以 60 fps 并行处理 2 个图像序列，并处理和存储特征点和 AR anchor ，同时手机必须同时渲染动画 3D 图形具有 60 fps 的高分辨率纹理。这对于您的 CPU/GPU 来说太多了。在这种情况下，电池将在 30 分钟内耗尽，并且会像锅炉一样热))。看来用户不喜欢它，因为这不是很好的 AR 体验。