Tensorflow Hub 图像模块 : Clarity on Preprocessing and Output values

Question

非常感谢支持!我目前使用 TF Slim - 而 TF Hub 似乎是迁移学习的一个非常有用的补充。然而，文档中的以下内容并不清楚:

<强>1。预处理是隐式完成的吗？这是基于模块构造函数中的“trainable=True/False”参数吗？

module = hub.Module("https://tfhub.dev/google/imagenet/inception_v3/feature_vector/1", trainable=True)

当我使用 Tf-slim 时，我使用了预处理方法:

inception_preprocessing.preprocess_image(image, img_height, img_width, is_training)

2.How to get access to AuxLogits for an inception model? 似乎缺少:

import tensorflow_hub as hub
import tensorflow as tf

img = tf.random_uniform([10,299,299,3])
module = hub.Module("https://tfhub.dev/google/imagenet/inception_v3/feature_vector/1", trainable=True)
outputs = module(dict(images=img), signature="image_feature_vector", as_dict=True)

输出是

dict_keys(['InceptionV3/Mixed_6b', 'InceptionV3/MaxPool_5a_3x3', 'InceptionV3/Mixed_6c', 'InceptionV3/Mixed_6d', 'InceptionV3/Mixed_6e', 'InceptionV3/Mixed_7a', 'InceptionV3/Mixed_7b', 'InceptionV3/Conv2d_2a_3x3', 'InceptionV3/Mixed_7c', 'InceptionV3/Conv2d_4a_3x3', 'InceptionV3/Conv2d_1a_3x3', 'InceptionV3/global_pool', 'InceptionV3/MaxPool_3a_3x3', 'InceptionV3/Conv2d_2b_3x3', 'InceptionV3/Conv2d_3b_1x1', 'default', 'InceptionV3/Mixed_5b', 'InceptionV3/Mixed_5c', 'InceptionV3/Mixed_5d', 'InceptionV3/Mixed_6a'])

Answer 1

这些都是很好的问题；让我尝试为不太熟悉 TF-Slim 的读者提供好的答案。

<强>1。预处理不是由模块完成，因为它与您的数据有关，而不是与模块内的 CNN 架构有关。该模块仅处理将输入值从规范的 [0,1] 范围转换为模块内预训练的 CNN 期望的任何值。

冗长的基本原理:用于 CNN 训练的图像预处理通常包括解码输入的 JPEG(或其他格式)、从中选择(相当大的)随机裁剪、随机光度和几何变换(扭曲颜色、左/右翻转等) .)，并调整为一批训练输入的通用图像大小。实现 https://tensorflow.org/hub/common_signatures/images 的 TensorFlow Hub 模块将所有这些留给模块周围的代码。

主要原因是合适的随机变换在很大程度上取决于您的训练任务，而不是模块的架构或训练状态权重。例如，如果您将汽车与狗进行分类，颜色失真会有所帮助，但可能不适用于成熟香蕉与未成熟香蕉，等等。

此外，一批已解码但尚未裁剪/调整大小的图像很难表示为单个张量(除非您将其设为编码字符串的一维张量，但这会带来其他问题，例如破坏反向传播到模块输入以供高级使用)。

底线:使用该模块的 Python 代码需要进行图像预处理(缩放值除外)，例如 https://github.com/tensorflow/hub/blob/master/examples/image_retraining/retrain.py。

slim 预处理方法将特定于数据集的随机转换(针对 Imagenet 进行了调整!)与重新缩放到架构的值范围(Hub 模块为您完成)相结合。这意味着它们不能直接适用于此。

<强>2。事实上，在 tfhub.dev/google/... 下发布的初始模块集中缺少辅助头，但我希望它们无论如何都能很好地进行重新训练。

更多细节:并非所有架构都有辅助头，即使是最初的 Inception 论文也说它们的影响“相对较小”[Szegedy&al. 2015; §5]。将图像特征向量模块用于自定义分类任务会使模块消费者代码负担检查辅助特征的负担，如果找到，则将辅助对数和损失项置于顶部。

这种并发症似乎并没有发挥作用，但更多的实验可能会反驳这一评估。 (如果您知道任何问题，请在 GitHub 问题中分享。)

目前，唯一的方法是将辅助头放在 https://tfhub.dev/google/imagenet/inception_v3/feature_vector/1 上是从 https://github.com/tensorflow/models/blob/master/research/slim/nets/inception_v3.py 中复制并粘贴一些行(搜索“Auxiliary head logits”)并将其应用于您看到的“Inception_V3/Mixed_6e”输出。

<强>3。你没有问，但是:对于训练，模块的文档建议通过 hub.Module(..., tags={"train"})，否则 batch norm 在推理模式下运行(和 dropout，如果模块有的话)。

希望这能解释事情是如何以及为什么发生的。

Arno(来自 TensorFlow Hub 开发人员)