python - 客户端 服务器端实时物体检测

Question

已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足 Stack Overflow guidelines 。目前不接受答案。

---

我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题，以便用事实和引文来回答。

已关闭 4 年前。

Improve this question

我计划在智能手机中实现实时物体检测功能。对于ios，我知道我可以使用CoreML和微型YOLO来完成这个功能。然而，智能手机的检测速度慢且准确度不佳。

因此，我希望能够在Python服务器中构建对象检测。智能手机将捕获帧或使用实时流将帧传递到服务器。然后，服务器将结果返回给智能手机。智能手机将显示边界框。是否可以在更短的延迟内完成所有事情？

Answer 1

你确定它“慢而且准确度不好”吗？

TinyYOLO 在 iPhone XS 上以 200 FPS 的速度运行，甚至完整 YOLO-v3 在最新设备上也以实时帧速率运行。有关示例，请参阅:https://github.com/Ma-Dan/YOLOv3-CoreML 。

MobileNetV2+SSDLite 的帧速率高达 90 FPS。

您实际上不会以超高速运行这些模型，但这表明它们完全有能力实时运行。即使在较旧的设备上，SSDLite 也能获得实时速度。

(诚然，Faster R-CNN 在移动设备上并不是真正的速度怪物。)

假设您需要达到 30 FPS。这意味着每帧有 33 毫秒的时间将帧发送到服务器，对其进行处理，然后将边界框发送回客户端。也许您可以使其对单个用户来说足够快，但是如果数千个用户尝试同时执行此操作，那么您将如何使服务器足够快呢？

您必须对请求进行排队并分批处理它们才能获得最佳吞吐量，但这也会增加延迟。

通过在服务器上执行此操作，您实际上需要解决三个问题:1)使其足够快，2)使其可扩展，3)为其付费。

我并不是说它不能使用服务器来完成，但不要过早取消设备上的对象检测。