machine-learning - 残差网络可以跳过一种线性而不是两种吗？

Question

ResNets 中的标准是跳过 2 个线性。只跳过一项也可以吗？

Answer 1

我建议您引用the original paper作者:Kaiming He 等人。

在第 3.1-3.2 节中，他们将“身份”快捷方式定义为 y = F(x, W) + x，其中 W 是可训练参数，用于学习任何残差映射 F。重要的是残差映射包含非线性，否则整个结构就是一个复杂的线性层。但线性的数量不受限制。

例如，ResNeXt network围绕一堆仅卷积层创建恒等快捷方式(参见下图)。因此，残差 block 中不存在任何致密层。

一般的答案是:是的，它会起作用。然而，在特定的神经网络中，将两个密集层减少为一个可能是一个坏主意，因为无论如何残差 block 必须足够灵活以学习残差函数。因此，请记住验证您提出的任何设计。