gpt4 book ai didi

machine-learning - 梯度下降有哪些替代方案?

转载 作者:行者123 更新时间:2023-11-30 08:23:22 25 4
gpt4 key购买 nike

梯度下降存在局部极小值问题。我们需要运行梯度下降指数次来找到全局最小值。

谁能告诉我梯度下降的任何替代方案及其优缺点。

谢谢。

最佳答案

参见my masters thesis对于非常相似的列表:

神经网络的优化算法

  • 基于梯度
    • 梯度下降的风格(仅限一阶梯度):
      • 随机梯度下降:enter image description here
      • 小批量梯度下降:
      • 学习率安排:
        • 势头:
        • RProp和小批量版本 RMSProp
        • AdaGrad
        • Adadelta ( paper )
        • 指数衰减学习率
        • 绩效安排
        • 新手安排
      • Quickprop
      • Nesterov 加速梯度 (NAG):Explanation
    • 高阶梯度
    • 不确定它是如何工作的
      • Adam(自适应矩估计)
        • AdaMax
      • 共轭梯度
  • 替代方案
    • 遗传算法
    • 模拟退火
    • Twiddle
    • 马尔可夫随机场(graphcut/mincut)
    • 单纯形算法用于运筹学环境中的线性优化,但显然也用于神经网络 ( source )

您可能还想看看我关于 optimization basics 的文章以及 Alec Radfords 的精美 gif:12 ,例如

其他有趣的资源是:

权衡

我认为所有发布的优化算法都有一些具有优势的场景。一般权衡是:

  • 您一步获得了多少进步?
  • 您计算一步的速度有多快?
  • 算法可以处理多少数据?
  • 是否能保证找到局部最小值?
  • 优化算法对您的函数有什么要求? (例如一次、两次或三次可微分)

关于machine-learning - 梯度下降有哪些替代方案?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23554606/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com