java - 使用 Tensorflow Lite 在 Android Java 上进行面部表情识别

Question

我正在使用深度学习算法(即 CNN)进行面部表情识别，以识别用户的情绪，如快乐、悲伤、愤怒等。我使用预训练的 VGG-16 模型在 Python 中训练和测试它，将前 3 层更改为训练我的测试图像，为了加快我使用 Tensorflow 的训练过程。测试准确率为62%。我已将模型的架构和权重保存在 train_model.h5 文件中。

现在我必须在 Android 手机上实现它。为此，我使用了 Tensorflow-Lite，因为它适用于安卓手机。所以我使用 Tensorflow lite 转换器方法将我的 .h5 文件转换为 .tflite 文件。

这是我为转换所做的:

from tensorflow.contrib import lite
converter=lite.TFLiteConverter.from_keras_model_file
            ("train_model.h5")
tflite_model = converter.convert()
open ("model.tflite" , "wb") .write(tflite_model)

我成功拿到了tflite文件。

来到 android 部分，我选择了 Java 语言来加载 tflite 文件并预测新图像的情绪。我已经浏览了 Tensorflow-lite 网站上给出的“图像分类”示例，但我对如何使用它感到困惑。我不知道如何阅读 tflite 并使用它来预测新图像的输出并在 android 应用程序上显示结果。请帮我解释一些好的资源

Answer 1

这是一篇关于如何在 Android 上使用图像分类 TFLite 模型的好博文: https://medium.com/tensorflow/using-tensorflow-lite-on-android-9bbc9cb7d69d

您将如何运行推理在很大程度上取决于模型的构建方式及其预期的输入。如果上面博客文章中的方法不起作用，您将必须手动组合张量以提供给模型。 code在这个codelab就是这样做的。

要考虑的另一个选项是 face detection API在机器学习套件中。它通过检测微笑的曲率来完成您正在寻找的一些(尽管不是全部)。