gpt4 book ai didi

machine-learning - 如果 GD 的初始化权重是鞍点,会发生什么?

转载 作者:行者123 更新时间:2023-11-30 09:59:29 25 4
gpt4 key购买 nike

现有的权重初始化策略能否保证它们最终不会出现鞍点?

最佳答案

当今大多数初始化方法都是随机初始化。因此,几乎可以肯定,除非函数在开集上恒定,否则模型不会在鞍点处初始化。事实上,鞍点集的测量在参数空间上为零,除非函数在开集上恒定。

关于machine-learning - 如果 GD 的初始化权重是鞍点,会发生什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59562684/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com