machine-learning - 神经网络迭代、梯度下降步数、纪元、批量大小的含义是什么？

Question

你能解释一下下面这句话吗，这让我很困惑。1.迭代2.梯度下降步骤3.纪元4.批量大小。

Answer 1

在神经网络术语中:

• 一个epoch = 所有训练样本的一次前向传递和一次反向传递
• 批量大小 = 一次前向/后向传递中的训练示例数量。批量大小越大，您需要的内存空间就越大。
• 迭代次数 = 传递次数，每次传递使用 [批量大小] 示例数。需要明确的是，一次传球 = 一次前向传球 + 一次后向传球(我们不将前向传球和后向传球算作两次不同的传球)。

示例:如果您有 1000 个训练示例，并且批量大小为 500，则需要 2 次迭代才能完成 1 个 epoch。

梯度下降:

请观看本次讲座: https://www.coursera.org/learn/machine-learning/lecture/8SpIM/gradient-descent (来源:Andrew ng，Coursera)

那么让我们看看梯度下降是做什么的。想象一下，这就像某个绿草如茵的公园的景观，有两座山，我希望我们想象你正站在山上的那个点上，在你的公园里的这座红色小山上。

事实证明，如果你站在山上的那个点，环顾四周，你会发现最好的方向是向下走一小步，大致就是那个方向。

好的，现在你已经到了山上的这个新点了。你会再次环顾四周，问我应该朝哪个方向迈出一步，才能迈出一小步下坡？如果你这样做并再迈出一步，你就朝那个方向迈出了一步。

然后你继续前进。从这个新的点开始，你环顾四周，决定哪个方向会带你最快下坡。再走一步，再走一步，依此类推，直到收敛到此处的局部最小值。

在梯度下降中，我们要做的是旋转 360 度，环顾四周，然后问，我是否要朝某个方向迈出一小步，我想要为了尽快走下坡路，我该向哪个方向迈出那小小一步呢？如果我想下山，那么我想尽可能快地走下这座山。

我希望您现在了解梯度下降步骤的重要性。希望这对您有帮助!