java - Tensorflow lite的gpu delegate、nnapi在android手机上的性能几乎相同

Question

我使用以下代码更改手机上的委托(delegate)人(G3226)

try {     
      if(delegateNum == 1){
        GpuDelegate delegate = new GpuDelegate();
        Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);
        d.tfLite = new Interpreter(loadModelFile(assetManager, modelFilename), options);
      }else if(delegateNum == 2){
        NnApiDelegate delegate = new NnApiDelegate();
        Interpreter.Options options = (new Interpreter.Options()).addDelegate(delegate);
        d.tfLite = new Interpreter(loadModelFile(assetManager, modelFilename), options);
      }else{
        d.tfLite = new Interpreter(loadModelFile(assetManager, modelFilename));
      }      

    } catch (Exception e) {
      throw new RuntimeException(e);
    }

但性能几乎相同，不确定会发生什么。

• 电话G3226

• TFLite 版本

  实现“org.tensorflow:tensorflow-lite:0.0.0-nightly”实现 'org.tensorflow:tensorflow-lite-gpu:0.0.0-nightly'实现 'org.tensorflow:tensorflow-lite-support:0.0.0-nightly'

• Model link ，它是一个用于目标检测的量化SSD模型(精度不太好)

我猜测的可能原因:

1. 这个模型太小，不够复杂，不足以让 gpu 或 nnapi 炫耀
2. 我手机上的 GPU 或 nnapi 很弱
3. 我的手机不支持 GPU 或 nnapi，因此它们会退回到 CPU

如果是3，如何查看我的手机是否支持gpu或nnapi？谢谢

Answer 1

一些事情:

1. 量化的SSD模型可能已经过时，请查看these ones为了更好的准确性。您必须将它们转换为 these instructions获取 .tflite 版本。

2. SSD 模型有一个很大的后处理步骤 (NMS)，但不会加速。因此，SSD 模型的差异通常小于用于分类的 MobileNet 等简单模型。

3. NNAPI 仅适用于 Android 8.1 or later - 你的手机也是这样吗？此外，NNAPI 可能无法在所有架构上加速，因此存在这种情况。

4. GPU delegate 尚不支持量化模型。