tensorflow - 如何定制 AlexNet 以适应不同的用途

Question

所以，过去一周我一直在学习一些机器学习，并且一直在摆弄我自己的回归 CNN，输入 128x128 的彩色图像并输出评级。虽然我的数据集很小，总共 400 左右，但我得到了不错的结果，但有一点过度拟合(训练的平均绝对误差为 0.5，规模 1-10 的测试平均绝对误差为 0.9)，模型如下:

model = keras.Sequential([
    keras.layers.Conv2D(32, kernel_size=(5, 5), strides=(1, 1), activation='relu', input_shape=(128, 128, 3)),
    keras.layers.Dropout(0.15),
    keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2, 2)),
    keras.layers.Conv2D(64, kernel_size=(5, 5), activation='relu'),
    keras.layers.Dropout(0.15),
    keras.layers.MaxPooling2D(pool_size=(2, 2)),
    keras.layers.Flatten(),
    keras.layers.Dense(1000, activation='relu'),
    keras.layers.Dropout(0.4),
    keras.layers.Dense(1)
])

但是，由于对结果不满意，我想尝试经过验证的真实模型。所以我使用了 AlexNet:

model = keras.Sequential([
    keras.layers.Conv2D(filters=96, kernel_size=(11, 11), strides=(4, 4), activation='relu', input_shape=(128, 128, 3), padding='same'),
    keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2, 2), padding='same'),
    keras.layers.Conv2D(filters=256, kernel_size=(11, 11), strides=(1, 1), activation='relu', padding='same'),
    keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2, 2), padding='same'),
    keras.layers.Conv2D(filters=384, kernel_size=(3, 3), strides=(1, 1), activation='relu', padding='same'),
    keras.layers.Conv2D(filters=384, kernel_size=(3, 3), strides=(1, 1), activation='relu', padding='same'),
    keras.layers.Conv2D(filters=256, kernel_size=(3, 3), strides=(1, 1), activation='relu', padding='same'),
    keras.layers.MaxPooling2D(pool_size=(2, 2), strides=(2, 2), padding='same'),
    keras.layers.Flatten(),
    keras.layers.Dense(4096, activation='relu'),
    keras.layers.Dropout(0.4),
    keras.layers.Dense(4096, activation='relu'),
    keras.layers.Dropout(0.4),
    keras.layers.Dense(1000, activation='relu'),
    keras.layers.Dropout(0.4),
    keras.layers.Dense(1)
])

但是，它的收敛速度要慢得多，并且在训练 MAE 为 1.2、测试 MAE 为 0.9 时基本稳定。虽然这确实显示出较少的过度拟合，但我认为奇怪的是我仍然得到相同的测试结果。我的 AlexNet 实现是否有缺陷，或者这不是 AlexNet 的正确应用程序。我知道它通常用于分类，但我认为回归可能值得尝试。任何信息/建议/批评都有帮助，谢谢!

Answer 1

我没有发现您的 AlexNet 实现有任何明显的错误。但我想指出几点。

第一个模型中使用dropout的方式

在卷积输出之后应用Dropout并不是标准的事情。当您以这种方式应用 dropout 时，Convolution 输出中的输出会随机关闭。但与全连接层不同，卷积输出具有“空间”结构。我想说的是，切换完整 channel 比关闭随机神经元更有意义。我认为一个插图会有所帮助。想象一个 channel 输出对应于全连接层的单个神经元(不是最好的类比，但它有助于理解我的建议)。

或者另一种选择是在卷积输出后去除 Dropout ，而仅在全连接层后具有 Dropout 。

AlexNet 收敛所需的时间

AlexNet 比模型 1 大得多，这意味着参数比第一个模型多得多。因此，需要更长的时间才能收敛是有道理的。

为什么准确率低？

我能想到的一件事是 Flatten() 层之前的输出大小。在模型 1 中，它是 32x32，而在 Alexnet 中，它是 4x4，非常小。因此，完全连接的层只有很少的来自卷积层的信息。这可能会导致 AlexNet 表现不佳(只是猜测)。