opencv - 如何使用 OpenVINO 获得与 OpenCV 一样快的 YOLOv4 推理时间？

Question

如果我在带有 OpenVINO 后端的 OpenCV 中使用 256x256 RGB 图像在我的 CPU 上运行具有泄漏 relu 激活的 YoloV4 模型，推理时间加上非最大抑制约为 80 毫秒。另一方面，如果我按照 https://github.com/TNTWEN/OpenVINO-YOLOV4 将我的模型转换为 IR , 从 https://github.com/AlexeyAB/darknet 链接到，直接使用 OpenVINO 推理引擎的推理时间大约为 130 毫秒，甚至不包括非最大抑制，这在 python 中天真地实现时相当慢。

不幸的是，OpenCV 并没有提供我希望对我想尝试的模型和推理方案进行的所有控制(例如，我想更改批量大小，从暗网以外的 YOLO 存储库导入模型等)

是什么魔力让带有 OpenVINO 后端的 OpenCV 变得如此快？

Answer 1

推理性能取决于应用程序并受许多变量影响，例如模型大小、模型架构、处理器等。

This benchmark result显示运行 yolo-v4-tf 的性能结果在多个英特尔® CPU、GPU 和 VPU 上。

例如，您可以使用 11th Gen Intel® Core™ i7-11850HE @ 2.60GHz CPU运行 yolo-v4-tf ，这给出了 80.4 毫秒的推理时间。

yolo-v4-tf和 yolo-v4-tiny-tf是public pre-trained models您可以将其用于学习和演示目的或用于开发深度学习软件。您可以使用 Model Downloader 下载这些模型.