gpt4 book ai didi

machine-learning - 使用学习率进行 SGD 收敛测试

转载 作者:行者123 更新时间:2023-11-30 09:53:44 26 4
gpt4 key购买 nike

任何人都可以解释一下此 lecture 第8分钟提出的收敛测试吗?作者:雨果·拉罗谢尔?

最佳答案

这些条件确保渐近收敛。在这种情况下,我们应该能够无限次更新近似解。直观上,要实现这一点,学习率应始终大于零。第一个条件意味着或暗示学习率始终大于 0。

另一方面,除了“无限更新”我们的近似解之外,我们还有兴趣更接近最优解。为了达到这个目的,学习率应该越来越小。第二个条件意味着 alpha 参数应该单调递减。

这两个条件不仅在 SGD 中需要,而且在许多其他随机逼近方法中也需要。有时,由于 Robbins–Monro algorithm,它们被称为 Robbins-Monro 条件。 .

关于machine-learning - 使用学习率进行 SGD 收敛测试,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39452651/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com