tensorflow - 深度神经网络跳过连接实现为求和与串联？

Question

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

3年前关闭。




Improve this question




在深度神经网络中，我们可以实现跳过连接来帮助:

解决梯度消失问题，训练更快

网络学习低层和高层特征的组合

在像最大池化这样的下采样期间恢复信息丢失。

https://medium.com/@mikeliao/deep-layer-aggregation-combining-layers-in-nn-architectures-2744d29cab8

但是，我阅读了一些源代码，一些实现了作为串联的跳过连接，一些作为求和。所以我的问题是每个实现的好处是什么？

Answer 1

基本上，差异取决于最终层受中间特征影响的不同方式。

使用元素求和(例如 ResNet )的具有跳跃连接的标准架构在某种程度上可以被视为迭代估计过程(参见例如 this work )，其中特征通过网络的各个层进行细化。这种选择的主要好处是它可以工作并且是一个紧凑的解决方案(它保持块中的特征数量固定)。

具有级联跳过连接的架构(例如 DenseNet)，允许后续层重用中间表示，维护更多信息，从而获得更好的性能。除了特征重用之外，另一个后果是隐含的深度监督(如 this work )，它允许在网络中更好地传播梯度，特别是对于深度的(实际上它已用于 Inception 架构)。

显然，如果设计不当，连接特征会导致参数呈指数增长(这在一定程度上解释了您指出的工作中使用的分层聚合)，并且根据问题，使用大量信息可能会导致过拟合。