react-native - 为什么无论给定的张量如何，tensorflowjs 中的 model.predict 都会不断返回相同的错误输出？

Question

我正在尝试获得一个我转换为 tensorflow js 的 keras 模型，以便在 native react 中工作，但该模型一直给出不好的响应。做了一些挖掘，发现意识到我传入 model.predict 的张量是如何改变导致它给出相同的错误预测的。任何建议，将不胜感激。我很难被困住。代码如下:

import React, {useState, useEffect} from 'react';
import {View, Text, Button} from 'react-native';
import * as tf from '@tensorflow/tfjs';
import {
  bundleResourceIO
} from '@tensorflow/tfjs-react-native';
import * as mobilenet from '@tensorflow-models/mobilenet';

function thing() {
  const [model, setModel] = useState(null);
  const [tensor, setTensor] = useState(null); 
  
  async function loadModel() {
    const modelJson = require('./assets/model.json');
    const weight = require('./assets/group1-shard1of1.bin');
    const backend = await tf.ready();
    const item = await tf.loadLayersModel(
        bundleResourceIO(modelJson, weight)
    );
    const tfTensor = tf.tensor([[0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]]);
    
    setModel(item);
    setTensor(tfTensor);
  }

  useEffect(() => {
    loadModel();
  }, []);

  async function test() {
    if(tensor !== null && model !== null) {
      const result = await model.predict(tensor);
      console.log(result.dataSync())
    }
  }

  return (
    <View>
      <Button
        onPress={test}
        title="click"
        color="#841584"
        accessibilityLabel="Learn more about this purple button"
      />

    </View>
  );
}

export default thing;

Answer 1

就像改变图像中的单个像素不会改变图像一样，改变数组中的一位也不会显着调整预测。
我在黑色 224x224 图像上运行 mobilenet，它预测了 819 类(无论是什么)。然后我将左上角的像素更改为白色并重新运行 mobilenet，它仍然归类为 819 类。
See example code here
更改单个位不会像散列函数那样具有级联效果。 Mobilenet 就其本质而言具有抗噪声能力。