android - 构建用于多类分类的 tflite 模型

Question

我已经阅读了多个代码实验室，在这些代码实验室中，Google 对属于一类的图像进行了分类。如果我需要使用 2 个或更多类怎么办？比如我想对一张图片是水果还是蔬菜进行分类，然后分类是水果还是蔬菜。

Answer 1

您可以使用 TensorFlow(特别是使用 Keras)轻松训练卷积神经网络 (CNN)。互联网上有大量示例。参见 here和 here .

接下来，我们使用 tf.lite.TFLiteConverter 将 Keras 保存的模型(.h5 文件)转换为 .tflite 文件，

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_keras_model_file("keras_model.h5")
tflite_model = converter.convert()
open("converted_model.tflite", "wb").write(tflite_model)

参见 here .

现在，在 Android 中，我们使用 Bitmap 图像并将其转换为 float[][][][]，

private float[][][][] convertImageToFloatArray ( Bitmap image ) {
   float[][][][] imageArray = new   float[1][modelInputDim][modelInputDim][1] ;
   for ( int x = 0 ; x < modelInputDim ; x ++ ) {
       for ( int y = 0 ; y < modelInputDim ; y ++ ) {
           float R = ( float )Color.red( image.getPixel( x , y ) );
           float G = ( float )Color.green( image.getPixel( x , y ) );
           float B = ( float )Color.blue( image.getPixel( x , y ) );
           double grayscalePixel = (( 0.3 * R ) + ( 0.59 * G ) + ( 0.11 * B )) / 255;
           imageArray[0][x][y][0] = (float)grayscalePixel ;
       }
   }
   return imageArray ;
}

其中 modelInputDim 是图像的模型输入大小。上面的代码 fragment 将 RGB 图像转换为灰度图像。

现在，我们进行最后的推理，

private int modelInputDim = 28 ;
private int outputDim = 3 ;

private float[] performInference(Bitmap frame , RectF cropImageRectF ) {
   Bitmap croppedBitmap = getCroppedBitmap( frame , cropImageRectF ) ;
   Bitmap croppedFrame = resizeBitmap( croppedBitmap );
   float[][][][] imageArray = convertImageToFloatArray( croppedFrame ) ;
   float[][] outputArray = new float[1][outputDim] ;
   interpreter.run( imageArray , outputArray ) ;
   return outputArray[0] ;
}

我准备了一组在 Android 中使用 TFLite 模型的 Android 应用程序。参见 here .