python - Skip Connections的科学解释

Question

我正在搜索关于跳过连接的科学工作。

每个人都在谈论通过网络改进梯度流，这感觉很有意义。但是我很想理解和阅读归根结底的数学和代码意味着什么以及如何在 tensorflow 中深入实现它。

resnet paper 除外我还没有深入了解那些神奇的跳跃连接。

我很感激所有提示、论文和方程式。

Answer 1

我不确定除了它改善梯度流这一事实之外还有什么，因为它可以很容易地学习何时来自前一层的信息不必改变太多。除此之外，我会说它类似于 RNN，其中对于大的时间步长，它往往会忘记早期层的依赖性。类似地，当你有一个 CNN 网络时，我们在其中使用池化层来减少输入的大小以变得更小，我们这样做是以牺牲一些信息为代价的，因此它有助于在我们可以从较早层和较晚层获得的信息之间建立依赖关系。此外，跳过连接所做的是，它们有助于解决比没有跳过连接更容易的优化问题。

希望对您有所帮助。