machine-learning - 随机梯度下降增加成本函数

Question

在神经网络中，梯度下降会检查整个训练集以计算梯度。成本函数随着迭代而减小。如果成本函数增加，通常是因为错误或学习率不合适。

相反，随机梯度下降计算每个训练示例的梯度。我想知道成本函数是否有可能从一个样本增加到另一个样本，即使实现是正确的并且参数调整得很好。我感觉成本函数的异常增量是可以的，因为梯度遵循单个样本的最小化，这可能与整个系统的收敛方向不同。

随机梯度下降中成本函数的增量是否预期？

Answer 1

理论上，我们被告知，如果模型没有过度拟合或欠拟合，梯度下降会随着时间的推移而减小。然而，实际上这并不完全正确。在更现实的优化问题中，您会注意到成本函数实际上非常嘈杂。它会有很多峰值，并且很难看到实际的下降趋势。为了看到趋势，您必须计算移动平均值，以便信号变得更清晰，并且您可以看到成本函数是减少还是增加。希望这可以帮助。