ios - 如何将 VNDetectRectanglesRequest 改进为 VNDetectCarRequest？

Question

我使用 VNImageRequestHandler 和 VNDetectRectanglesRequest 来处理在图像中查找矩形的请求。但是由于iOS11中的Vision只提供条形码、矩形、人脸查找，但我想在图像中查找汽车，我应该如何更改代码才能在图像中查找指定对象？

Answer 1

如果您正在寻找 Apple 创建一个名为 VNDetectCarRequest 的 API，您可能应该 file a feature request . (如果发生这种情况，我敢肯定“Apple 正在制造汽车!”谣言工厂将再次启动......)

---

对于通用图像识别，Vision 的方法是使用 VNCoreMLRequest 并提供针对您想要的图像识别任务进行训练的机器学习模型。

在 native 编程方面，所有图像识别/分类任务都是相同的——您可以从重用 Apple 的 Classifying Images with Vision and Core ML 开始示例代码，它设置 VNCoreMLRequest 并处理它产生的 VNClassificationObservation 结果。将一般的“这是什么”分类器更改为“热狗或不是热狗”分类器或“这是什么类型的车辆(如果它是一辆的话)”分类器的特殊酱汁都在模型中。

可能有一个机器学习模型已经可以完成您正在寻找的任务 - 如果您找到一个，您可以使用 scripts Apple provides 将其包装在 Core ML 模型文件中.

否则，您需要查看其中一个通用图像分类器模型(同样，developer.apple.com 上已经方便地收集了几个模型)，并针对您更具体的任务对其进行特化/重新训练。你的那部分工作在 Apple 的 API 生态系统之外，并且有很多可能的选择。网络搜索“train caffe image model”或“train keras image model”或类似内容应该会有帮助。

训练完模型后，使用 Core ML tools将其放入 Core ML 以与 Vision 一起使用。