image-processing - 使用反向传播训练 CNN

Question

我之前曾在浅层(一层或两层)神经网络中工作过，所以我了解它们，它们是如何工作的，并且在训练它们期间很容易可视化前向和后向传递的推导，目前我正在研究深度神经网络(更准确地说是CNN)，我读了很多关于它们训练的文章，但我仍然无法理解CNN训练的大局，因为在某些情况下人们使用预训练的使用自动编码器提取卷积权重的层，在某些情况下使用随机权重进行卷积，然后使用反向传播来训练权重，任何人都可以帮助我全面了解从输入到全连接层的训练过程(前向传递)以及从全连接层到输入层(后向传递)。

谢谢

Answer 1

我想向您推荐关于如何使用反向传播训练多层神经网络的非常好的解释。 This tutorial是第 5 篇文章，非常详细地解释了反向传播的工作原理，并且还提供了不同类型神经网络的 Python 示例，以帮助您充分理解正在发生的事情。

作为 Peter Roelants 教程的总结，我将尝试解释一下什么是反向传播。

正如您已经说过的，有两种方法可以初始化深度神经网络:使用随机权重或预训练权重。在随机权重和监督学习场景的情况下，反向传播的工作原理如下:

• 随机初始化您的网络参数。
• 前馈一批带标签的示例。
• 计算所需输出和实际输出之间的误差(由损失函数给出)。
• 计算输出误差相对于每个参数的偏导数。
• 这些导数是误差相对于网络参数的梯度。换句话说，他们告诉您如何更改权重值以获得所需的输出，而不是生成的输出。
• 根据这些梯度和所需的学习率更新权重。
• 使用不同的训练示例执行另一次前向传递，重复以下步骤，直到误差停止减小。

从随机权重开始对于反向传播算法来说不是问题，只要有足够的训练数据和迭代，它就会调整权重，直到它们适用于给定的任务。

我真的鼓励您遵循我链接的完整教程，因为您将非常详细地了解反向传播如何以及为何适用于多层神经网络。