c++ - 设计这个简单的 ReactNative AR 应用程序的最佳方法是什么？

Question

我正在尝试在 ReactNative 中编写一个简单的 AR 应用程序，它应该只看到 4 个预定义标记并在相机的实时预览中绘制一个矩形作为边界，我正在尝试在C++ 使用 opencv 以便将应用程序的逻辑放在一个地方，Android 和 IOS 都可以访问。这是我一直在想的

1. 编写依赖于操作系统的代码以打开相机并在 (java/ObjC) 和 C++ 部分获取权限以对每一帧进行处理。

2. 在每一帧上调用 C++ 代码(从 native 代码中)，这应该返回标记的坐标。

3. 如果在 native 代码的预览中找到 4 个标记，则绘制矩形(到目前为止不知道如何实现这一点，但我认为它将是 native 代码)。

4. 将该预览(带有绘制 View 的实时预览)公开给 ReactNative(不确定或不确定如何实现)我查看了 React native 相机组件，但它不提供对帧的访问，如果可能的话，我不确定通过 JS 和 java/ObjC 之间的桥发送帧是否是个好主意。问题是我不确定性能或者是否可能。如果您知道任何 ReactNative 库，那会很棒。

Answer 1

你的脚步看起来很稳健。在 C++ 中处理完框架后，您需要在 iOS 中设置应用程序属性 RCTRootView.appProperties，并在 Android 中使用 RCTDeviceEventEmitter 发出事件。因此，您将需要一个用于 iOS 上的 C++ 代码的 Objective-C 包装器和一个 Android 上的 Java 包装器。在任何一种情况下，您都应该能够使用相同的 React Native 代码在相机预览的顶部实际绘制矩形。没错，React Native 相机组件没有用于从相机获取单个帧的 API，因此您需要为每个平台本地编写该代码。