react-native - React Native - 从 expo-camera 获取帧

Question

我制作了一个应用程序，可以检测面部坐标并使用 expo-camera 在它们周围放置一个正方形。我实际需要做的是以 1 秒的间隔从相机流中裁剪所有面孔，然后将它们通过 TensorFlow.js For React Native 的 TensorFlowjs 模型传递.我在 expo-camera documentation 中看不到类似的内容, 这有可能通过某种技巧实现吗？

Answer 1

我正在考虑做类似的事情，我认为这些可能会有所帮助。

RNCamera 具有 onModelProcessed Prop 的组件，可用于处理相机的流。 https://www.npmjs.com/package/react-native-tflite-camera

这是我发现的一个可能有帮助的例子:

https://medium.com/@namar/high-performance-image-classification-with-react-native-336db0a96cd

或

cameraWithTensors 由 TF 人员设计的组件具有“产生表示相机流的张量的能力”。获得张量后，您可以处理它们或将它们用作 tfjs 模型的输入。

这是一个使用 cameraWithTensors 的例子:

https://www.linkedin.com/pulse/real-time-image-classification-tensorflow-daniel-wind/?utm_campaign=React%2BNative%2BNow&utm_medium=web&utm_source=React_Native_Now_69

听起来您可能需要两个模型，一个可以检测人脸并返回要裁剪的坐标/像素。然后在裁剪后，您需要将裁剪后的图像放入另一个模型中。