android - 无法在类型为 UINT8 的 TensorFlowLite 张量和 Java 对象之间进行转换

Question

我正在使用 MLKiT 加载自定义 tensoflow 模型而读取模型时出现以下错误

java.lang.IllegalArgumentException:无法在类型为 UINT8 的 TensorFlowLite 张量和类型为 [[[[F(与 TensorFlowLite 类型 FLOAT32 兼容)的 Java 对象之间转换。

我正在使用以下代码使用 tlflite 文件进行对象检测

    private fun bitmapToInputArray(bitmap: Bitmap): Array<Array<Array<FloatArray>>> {
            var bitmap = bitmap
            bitmap = Bitmap.createScaledBitmap(bitmap, 224, 224, true)

            val batchNum = 0
            val input = Array(1) { Array(224) { Array(224) { FloatArray(3) } } }
            for (x in 0..223) {
                for (y in 0..223) {
                    val pixel = bitmap.getPixel(x, y)
                    // Normalize channel values to [-1.0, 1.0]. This requirement varies by
                    // model. For example, some models might require values to be normalized
                    // to the range [0.0, 1.0] instead.
                    input[batchNum][x][y][0] = (Color.red(pixel) - 127) / 128.0f
                    input[batchNum][x][y][1] = (Color.green(pixel) - 127) / 128.0f
                    input[batchNum][x][y][2] = (Color.blue(pixel) - 127) / 128.0f
                }
            }
            return input
        }

private fun setImageData(input: Array<Array<Array<FloatArray>>>) {
        var inputs: FirebaseModelInputs? = null
        try {
            inputs = FirebaseModelInputs.Builder()
                .add(input)  // add() as many input arrays as your model requires
                .build()
        } catch (e: FirebaseMLException) {
            e.printStackTrace()
        }

        firebaseInterpreter!!.run(inputs!!, inputOutputOptions!!)
            .addOnSuccessListener(
                OnSuccessListener<FirebaseModelOutputs> {
                    // ...
                    Log.d("Final",it.toString());
                })
            .addOnFailureListener(
                object : OnFailureListener {
                    override fun onFailure(p0: Exception) {
                        // Task failed with an exception
                        // ..

                    }
                })
    }

Answer 1

您的模型需要量化图像。你可以这样准备:

val input = Array(1) { Array(224) { Array(224) { ByteArray(3) } } }
        for (x in 0..223) {
            for (y in 0..223) {
                val pixel = bitmap.getPixel(x, y)
                input[batchNum][x][y][0] = Color.red(pixel)
                input[batchNum][x][y][1] = Color.green(pixel)
                input[batchNum][x][y][2] = Color.blue(pixel)
            }
        }

请注意，将 ByteBuffer 传递给 tflite 通常比传递多维数组更容易。