ios - 将对象检测模型嵌入到 iOS 应用程序中，并将其部署在 UIView 的内容而不是相机流上？

Question

我在我的自定义类上通过 tensorflow 对象检测 API 重新训练了一个 ssd_mobilenet_v2。我现在有一个 frozen_inference_graph.pb 文件，可以将其嵌入到我的应用程序中。tutorials on tensorflow's github和网站只展示了如何将它用于 iOS 内置相机流。相反，我的 iPhone 有一个外置摄像头，它流式传输到 UIView 组件。我希望我的网络能够检测到其中的对象，但我的研究没有指向任何明显的实现/教程。

我的问题:有谁知道这是否可能？如果是这样，实现这种事情的最佳方法是什么？ tensorflow 精简版？ tensorflow 移动？核心机器学习？金属？

谢谢!

Answer 1

在那个 TensorFlow 源代码中，在文件 CameraExampleViewController.mm 中有一个方法 runCNNOnFrame，它将一个 CVPixelBuffer 对象作为输入(来自camera) 并将其内容复制到 image_tensor_mapped.data() 中。然后它在该 image_tensor 对象上运行 TF 图。

要使用不同的图像源，例如 UIView 的内容，您需要先将该 View 的内容读入某种内存缓冲区(通常是 CGImage)，然后将该内存缓冲区复制到 image_tensor_mapped.data()。

可能更容易将 TF 模型转换为 Core ML(如果可能)，然后使用 Vision 框架运行模型，因为它可以直接使用 CGImage 作为输入。这使您不必先将该图像转换为张量。