objective-c - 如何使用 Vision 和 Core ML 框架从图像中点击对象并从图像序列中跟踪它

Question

我正在使用新的 Core ML 框架开发应用程序。我想要实现的目标如下:1.选择一个图像并点击其中的任何对象以绘制矩形2. 之后在多个图像中跟踪该对象，只是在 for 循环中运行

目前我正在做以下过程

1. 当用户使用时检测对象并存储它 VNDetectedObjectObservation = VNDetectedObjectObservation(boundingBox: convertedRect)

2. 为VNImageRequestHandler创建VNTrackObjectRequest来执行请求

但没有得到正确的结果。任何帮助将不胜感激。

Answer 1

我不熟悉 coreml 和 objective c，所以我不能给你任何代码示例，但由于没有人给你任何答案，我想描述一下我手动解决这个问题的方式:

1. 获取点击的点并扩展一个(感兴趣的)区域，例如围绕该点的 N x N 正方形。
2. 对点击区域进行分类，以便算法可以检测连续帧中的结构。
3. 存储当前帧中的位置，然后为下一帧扩展该区域，并使用该扩展区域检测其中的对象。

使用此策略，您可以将步骤 3 中的扩展区域用于对象检测任务，您可以使用 YOLO 实现来解决该任务。但它比将整个帧放入对象检测要快得多，因为它只对一个小区域执行检测。

我希望这至少能对您有所帮助。