tensorflow - GPU 上的 WinML 推理时间比 Tensorflow python 慢 3 倍

Question

我尝试在 WinML 中使用在 python 上训练的 tensorflow 模型。我成功地将 protobuf 转换为 onnx。
得到以下性能结果:

WinML 43s

OnnxRuntime 10s

Tensorflow 12s

CPU 上的推断大约需要 86 秒。

在性能工具上，与其他工具相比，WinML 似乎没有正确使用 GPU。
WinML 似乎使用 DirectML 作为后端(我们在 Nvidia GPU 分析器上观察到 DML 前缀)。
是否可以将 Cuda 推理引擎与 WinML 一起使用？
有没有人观察到类似的结果，WinML 在 GPU 上异常缓慢？

Answer 1

我得到了一些关于这个 WinML 性能的答案。
我的网络使用仅在 Windows 2004 中由 DirectML 支持的 LeakyRelu。
在 Windows 以前的版本上，此问题禁用 DirectML Metacommand 的使用，因此性能不佳。
使用新的 Windows 版本，我在 WinML 上获得了良好的性能。