android - 如何(在运行时)确定 TensorFlow Lite 是否使用 GPU？

Question

有没有办法让我确保 或至少 在运行时确定 使用 TensorFlow Lite 库时是否使用了正确的加速器(CPU、GPU)？
虽然我关注了guide , 并设置 Interpreter.Options()反对在具有 GPU 的设备(三星 S9)上使用 GPU 委托(delegate)，在某些情况下它很可能使用 CPU。例如，如果您使用带有默认委托(delegate)选项对象的量化模型，它将默认使用 CPU，因为 quantizedModelsAllowed设置为假。我几乎可以肯定，即使传递给解释器的选项对象有 GPUDelegate ，而是使用了 CPU。不幸的是，我不得不根据推理速度和准确性进行猜测。
没有警告，我只是注意到推理时间变慢并提高了准确性(因为在我的情况下，GPU 的行为很奇怪，给了我错误的值，我试图找出原因作为一个单独的问题)。目前，我必须猜测是否正在使用 GPU/CPU，并做出相应的 react 。现在，我认为还有其他类似的情况会退回到 CPU，但我不想猜测。

我听说过 AGI(Android GPU Inspector)，它目前只支持 3 像素设备。使用它来查看 GPU 在分析器中的使用会很好。我也试过三星的 GPUWatch，这根本不起作用(在 OpenGL 和 Vulkan 上)，因为我的应用程序不使用这些 API 中的任何一个(它不渲染东西，它使用 tensorflow!)。

Answer 1

使用基准工具后，我将把结果放在这里:
首先，您可以看到没有 XNNPack 的 CPU 使用率模型:

第二个带有 XNNPack 的 CPU 模型:

第三个使用 GPU 的模型!!!!!!:

最后是 Hexagon 或 NNAPI 委托(delegate):

如您所见，模型是由 GPU 处理的。我还使用了 2 部随机选择的手机。如果你想要任何特定的设备，请告诉我。最后，您可以从基准工具 here 下载所有结果.