gpt4 book ai didi

machine-learning - 神经网络不能立即重现?

转载 作者:行者123 更新时间:2023-11-30 08:47:26 27 4
gpt4 key购买 nike

通过使用反向传播导数(弹性)的前馈神经网络中的随机权重初始化,误差图上的初始位置位于某个随机谷的顶部,该随机谷可能是也可能不是局部最小值。可以使用方法来克服局部最小值,但假设这些方法没有被使用(或者在给定的地形上不能很好地工作),那么神经网络似乎不能立即重现。这意味着,这里面有一点运气。

在一张具有 100 万个谷值且只有一个全局最小值的图表上,最多需要 100 万次非重复权重初始化才能找到单个全局最小值(假设每次初始化都会使您进入一个完全不同的谷值)。因此,如果我遇到全局最小值(解决方案)的收敛并且意外丢失权重(数据损坏或其他),我可能不会再次遇到收敛。考虑到这一点,我是否应该在同一数据集上同时运行多个神经网络,然后在达到所需的错误率后停止/保存网络?我知道同时运行多个网络是一种常见的做法,但这似乎使得像这样的半暴力技术成为强制性的。

最佳答案

正确

您确实迫切需要将这些计算出的权重存储在安全的地方。考虑到困难的搜索环境,我们不能保证您再次重新发现相同的(可能)最佳解决方案。

多次重启

使用随机重启并跟踪当前最佳解决方案是很常见的。

有关神经网络学习的文献

查看精彩书籍摘录:A Systematic Introduction

关于machine-learning - 神经网络不能立即重现?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24161525/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com