gpt4 book ai didi

neural-network - 为什么S型函数在神经网络中起作用?

转载 作者:行者123 更新时间:2023-12-03 11:41:11 25 4
gpt4 key购买 nike

我刚刚开始为神经网络编程。我目前正在努力了解反向传播(BP)神经网络的工作原理。尽管在BP网络中进行训练的算法非常简单,但我无法找到有关该算法为何起作用的任何文本。更具体地说,我正在寻找一些数学推理来证明在神经网络中使用Sigmoid函数是合理的,并且是什么使它们模仿几乎抛出的任何数据分布。

谢谢!

最佳答案

S形函数在网络中引入了非线性。如果没有非线性激活函数,则网络只能学习作为其输入的线性组合的函数。自1989年这位绅士证明该结果以来,该结果称为universal approximation theoremCybenko theoremWikipedia是一个很好的起点,它与原始论文有联系(尽管证明有些牵连)。之所以要使用S形字而不是其他字形,是因为它是连续且可微的,其导数计算速度非常快(与tanh的导数相反,后者具有类似的特性)并且范围有限(从0开始至1,独家)

关于neural-network - 为什么S型函数在神经网络中起作用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11677508/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com