performance - 与没有 AVX 和 AVX2 的情况相比，使用 AVX 和 AVX2 的 tensorflow-gpu 有多快？

Question

有多快 tensorflow-gpu与没有 AVX 和 AVX2 相比，有 AVX 和 AVX2 吗？

我试图使用谷歌找到答案，但没有成功。很难重新编译tensorflow-gpu对于 Windows。所以，我想知道这是否值得。

Answer 1

如果您的计算是 CPU 上的一个巨大 matmul，您将在 Xeon V3 上获得 3 倍的加速(请参阅基准 here )。但也有可能看不到加速，大概是因为没有足够的时间花在 CPU 上执行的高算术强度操作上。

这是“高性能模型”指南中的表格，用于在 CPU 上使用差异优化训练 resnet50。看起来您可以通过最佳设置获得 2.5 的加速

| Optimization | Data Format | Images/Sec   | Intra threads | Inter Threads |
:              :             : (step time)  :               :               :
| ------------ | ----------- | ------------ | ------------- | ------------- |
| AVX2         | NHWC        | 6.8 (147ms)  | 4             | 0             |
| MKL          | NCHW        | 6.6 (151ms)  | 4             | 1             |
| MKL          | NHWC        | 5.95 (168ms) | 4             | 1             |
| AVX          | NHWC        | 4.7 (211ms)  | 4             | 0             |
| SSE3         | NHWC        | 2.7 (370ms)  | 4             | 0             |

如果您能够为 Windows 编译优化版本，那么在此问题中提及它会有所帮助- https://github.com/yaroslavvb/tensorflow-community-wheels/issues/13 ，似乎对这样的构建有一些需求