machine-learning - 与继续添加滤波器尺寸增加的层相比，连续添加相同的 CONV2d 层有什么好处

Question

在之前连续添加相同的图层有什么好处，如下所示:

model.add(layers.Conv2D(32, (3, 3), activation='relu'))
model.add(layers.Conv2D(32, (3, 3), activation='relu'))
model.add(layers.Conv2D(32, (3, 3), activation='relu'))

model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))

而不是像下面这样继续增加过滤器大小:

model.add(layers.Conv2D(32, (3, 3), activation='relu'))

model.add(layers.Conv2D(64, (3, 3), activation='relu'))

添加相同的层是否很常见，因为继续增加过滤器数量的成本更高？

当我连续使用相同的图层时，我会获得更高的准确性，但是当我浏览示例和书籍时，我很少遇到作者添加相同的图层，我只是好奇为什么。

Answer 1

这个问题很好，但答案要看具体情况。

1. 首先，应用卷积时了解图像的尺寸非常重要。几篇论文表明，他们在早期层中没有使用大量滤波器，因为早期层捕获边缘/颜色/形状或类似信息 https://blog.keras.io/how-convolutional-neural-networks-see-the-world.html 。因此，在第一层中使用 128 个滤波器而不是 32 个滤波器可能不会很好地提高整体精度。

2. 根据前面的观察，随着神经网络变得更深，过滤器的数量也会增加，因为可以捕获更多特定于任务的信息。大多数成熟的图像分类架构都会将卷积层中的滤波器数量增加两倍的指数。

3. 这在很大程度上取决于数据集，这就是为什么不能做出一般性陈述的原因，尽管前两个观察结果已经得到了经验和统计的证明。

   您可以开始使用卷积，添加/删除层，如果您添加 Dropout 或 BatchNormalization，则可以看到改进(或没有)，但我建议您检查已经完善的网络。

   无法保证架构 X 或 Y 效果更好。如今的趋势是使用具有跳跃连接的架构，这确保了端到端的梯度流而不丢失信息。尝试使用 ResNet50/101(所有变体)、Xception、DenseNet、SENetwork。