python - 使用预训练的 Inceptionv3 提取瓶颈特征 - Keras 的实现和 Native Tensorflow 实现之间的差异

Question

(抱歉发了这么长的帖子)

全部，

我想使用预训练 Inceptionv3 模型的瓶颈特征来预测我的输入图像的分类。在训练模型和预测分类之前，我尝试了 3 种不同的方法来提取瓶颈特征。

我的 3 种方法产生了不同的瓶颈特征(不仅在值上，甚至在大小上也不同)。

1. 方法 1 和 2 中我的瓶颈特征的大小:(输入图像的数量)x 3 x 3 x 2048

   方法 3 中我的瓶颈特征的大小:(输入图像的数量)x 2048

   为什么基于 Keras 的 Inceptionv3 模型和原生 Tensorflow 模型的大小不同？我的猜测是，当我在 Keras 中说 include_top=False 时，我并没有提取“pool_3/_reshape:0”层。这个对吗？如果是，我如何在 Keras 中提取 'pool_3/_reshape:0' 层？如果我的猜测不正确，我错过了什么？

2. 我比较了方法 1 和方法 2 的瓶颈特征值，发现它们存在显着差异。我认为我正在为它提供相同的输入图像，因为我什至在将其读取为脚本输入之前调整图像大小和缩放比例。我在方法 1 中没有我的 ImageDataGenerator 选项，根据该函数的文档，所有默认值都不会更改我的输入图像。我已将 shuffle 设置为 false，因此我假设 predict_generator 和 predict 正在以相同的顺序读取图像。我错过了什么？

---

请注意:

我的输入图像是 RGB 格式(所以 channel 数 = 3)，我将它们全部调整为 150x150。我在 inceptionv3.py 中使用了 preprocess_input 函数预处理我所有的图像。

def preprocess_input(image):
    image /= 255.
    image -= 0.5
    image *= 2.
    return image

---

方法 1:使用带有 tensorflow 的 Keras 作为后端，一个 ImageDataGenerator 来读取我的数据和 model.predict_generator 来计算瓶颈特征

我关注了 example (使用预训练网络的瓶颈特征:一分钟内达到 90% 的准确率部分)来自 Keras 的博客。我使用了 Inceptionv3 而不是那里列出的 VGG 模型。下面是我使用的代码片段

(这里没有显示代码，但我在下面的代码之前做了什么):读取所有输入图像，调整大小为 150x150x3，根据上面提到的 preprocessing_input 函数重新缩放，保存调整大小和重新缩放的图像

train_datagen = ImageDataGenerator() 
train_generator = train_datagen.flow_from_directory(my_input_dir, target_size=(150,150),shuffle=False, batch_size=16)

# get bottleneck features
# use pre-trained model and exclude top layer - which is used for classification
pretrained_model = InceptionV3(include_top=False, weights='imagenet', input_shape=(150,150,3))
bottleneck_features_train_v1 = pretrained_model.predict_generator(train_generator,len(train_generator.filenames)//16)

方法 2:使用带有 tensorflow 的 Keras 作为后端，我自己的阅读器和 model.predict 来计算瓶颈特征

此方法与之前方法的唯一区别是我使用自己的阅读器读取输入图像。(这里没有显示代码，但是我在下面的代码之前做了什么):读取所有输入图像，调整大小为 150x150x3，根据上面提到的 preprocessing_input 函数重新缩放，保存调整大小和重新缩放的图像

# inputImages is a numpy array of size <number of input images x 150 x 150 x 3>
inputImages = readAllJPEGsInFolderAndMergeAsRGB(my_input_dir)

# get bottleneck features
# use pre-trained model and exclude top layer - which is used for classification
pretrained_model = InceptionV3(include_top=False, weights='imagenet', input_shape=(img_width, img_height, 3))
bottleneck_features_train_v2 = pretrained_model.predict(trainData.images,batch_size=16)

方法 3:使用 tensorflow(无 KERAS)计算瓶颈特征

我关注了retrain.py为我的输入图像提取瓶颈特征。请注意，该脚本的权重可以从 ( http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz ) 获得

如该示例中所述，我使用 bottleneck_tensor_name = 'pool_3/_reshape:0' 作为层来提取和计算瓶颈特征。与前两种方法类似，我使用调整大小和重新缩放的图像作为脚本的输入，我将这个特征列表称为 bottleneck_features_train_v3

非常感谢

Answer 1

1和2的不同结果

因为你没有展示你的代码，我(可能是错误的)建议问题是你在声明 ImageDataGenerator 时可能没有使用 preprocess_input ？

from keras.applications.inception_v3 import preprocess_input

train_datagen = ImageDataGenerator(preprocessing_function=preprocess_input) 

不过，请确保您保存的图像文件的范围是 0 到 255。(位深度 24)。

1和3的不同形状

在这种情况下存在三种可能的模型类型:

• include_top = True -> 这将返回类
• include_top = False(仅)-> 这意味着 pooling = None(没有最终池化层)
• include_top = False, pooling='avg' or ='max' -> 有一个池化层

因此，没有显式 pooling=something 的声明模型在 keras 中没有最终池化层。然后输出仍将具有空间维度。

只需在末尾添加一个池即可解决该问题。其中之一:

pretrained_model = InceptionV3(include_top=False, pooling = 'avg', weights='imagenet', input_shape=(img_width, img_height, 3))
pretrained_model = InceptionV3(include_top=False, pooling = 'max', weights='imagenet', input_shape=(img_width, img_height, 3))

不确定 tgz 文件中的模型使用的是哪一个。

作为替代方案，您还可以从 Tensorflow 模型中获取另一层，紧接在 'pool_3' 之前。