gpu - Onnxruntime 与 PyTorch

Question

我使用 PyTorch 在我的自定义数据集上训练了 YOLO-v3 tiny。为了比较推理时间，我尝试了 CPU 上的 onnxruntime 以及 PyTorch GPU 和 PyTorch CPU。平均运行时间约为:

onnxruntime cpu: 110 ms - CPU 使用率: 60%
Pytorch GPU:50 毫秒
Pytorch CPU:165 毫秒 - CPU 使用率:40%
并且所有模型都使用批量大小 1。

但是，我不明白 onnxruntime 与 PyTorch CPU 相比如何更快，因为我没有使用 onnxruntime 的任何优化选项。我刚刚用过这个:

onnx_model = onnxruntime.InferenceSession('model.onnx')
onnx_model.run(None,{onnx_model.get_inputs()[0].name: input_imgs })

有人可以向我解释一下为什么在没有任何优化的情况下速度更快吗？以及为什么使用 onnxruntime 时 CPU 使用率更高。有什么办法可以让它保持下去吗？

提前致谢。

Answer 1

ONNX 运行时使用静态 ONNX 图，因此它具有图的完整 View ，并且可以进行许多 PyTorch 不可能/更难完成的优化。从某种意义上说，它类似于编译与解释的编程语言实现。