tensorflow - TensorRT/TFlite 示例实现

Question

有了经过训练的“.h5”Keras 模型文件，我正在尝试优化推理时间:

探索了 2 个选项:

1. 通过 TensorRT 加速推理
2. 'int8' 量化。

此时我可以将模型文件转换为 TensorFlow protobuf '.pb' 格式，但作为旁注，它还包含几层的自定义对象。

看了一些关于 TensorRT 转换和 TFLite 转换的文章，但我似乎没有找到清晰易读的可靠实现。有人可以解释这是如何完成的(TFLite/Keras 量化或 TensorRT)以使用相同的模型进行更快的推理。

(打开其他建议以提高 TensorFlow 和 Keras 支持的推理速度)

Answer 1

这是关于如何在 TF 中使用 TensorRT 的用户指南:https://docs.nvidia.com/deeplearning/frameworks/tf-trt-user-guide/index.html

此演讲解释了 TensorRT 在 TF 中的工作原理:https://developer.nvidia.com/gtc/2019/video/S9431

请注意，TensorRT 还支持 INT8 量化(在训练期间或训练后)。

这篇博文也有类似的内容:https://medium.com/tensorflow/high-performance-inference-with-tensorrt-integration-c4d78795fbfe

这个存储库有一堆示例展示了如何使用它:https://github.com/tensorflow/tensorrt