gpt4 book ai didi

tensorflow 量化

转载 作者:行者123 更新时间:2023-12-02 17:28:12 30 4
gpt4 key购买 nike

我想使用Tensorflow的transform_graph工具优化图形。我尝试优化 MultiNet 中的图表(以及其他具有类似编码器-解码器架构的)。然而,优化后的图在使用 quantize_weights 时实际上会更慢,在使用 quantize_nodes 时甚至会慢得多。从 Tensorflow 的文档来看,量化时可能没有任何改进,甚至可能更慢。知道下面的图表/软件/硬件这是否正常吗?

以下是我的系统信息供您引用:

  • 操作系统平台和发行版:Linux Ubuntu 16.04
  • TensorFlow安装自:使用TF源代码(CPU)进行图转换,使用binary-python(GPU)进行推理
  • TensorFlow 版本:均使用 r1.3
  • Python 版本:2.7
  • 巴泽尔版本:0.6.1
  • CUDA/cuDNN 版本:8.0/6.0(仅限推理)
  • GPU 型号和内存:GeForce GTX 1080 Ti

如有必要,我可以发布用于重现的所有脚本。

最佳答案

Tensorflow 中的量化似乎只发生在 CPU 上。请参阅:https://github.com/tensorflow/tensorflow/issues/2807

关于 tensorflow 量化,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46662239/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com