gpt4 book ai didi

tensorflow - tflite 量化推理非常慢

转载 作者:行者123 更新时间:2023-12-03 09:39:43 32 4
gpt4 key购买 nike

我正在尝试将经过训练的模型从检查点文件转换为 tflite .我正在使用 tf.lite.LiteConverter .浮点转换顺利进行,推理速度合理。但是INT8的推理速度转换非常慢。我试图通过输入一个非常小的网络来调试。我发现 INT8 模型的推理速度通常比浮点模型慢。

在 INT8 tflite 文件中,我发现了一些叫做 ReadVariableOp 的张量,在 TensorFlow 的官方 mobilenet tflite 模型中并不存在。

我想知道是什么导致了 INT8 推理的缓慢。

最佳答案

您可能使用 x86 cpu 而不是带有 arm 指令的 CPU。你可以在这里引用 https://github.com/tensorflow/tensorflow/issues/21698#issuecomment-414764709

关于tensorflow - tflite 量化推理非常慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58349690/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com