gpt4 book ai didi

python - 张量运算的导数

转载 作者:行者123 更新时间:2023-11-30 09:31:16 24 4
gpt4 key购买 nike

我正在读一本关于深度学习的书,我对作者提到的一个想法有点困惑。

我不明白为什么我们从权重中减去 -step * 梯度 (f) (W0) 而不仅仅是 -step,因为 -step * 梯度 (f) (W0) 代表损失,而 -step 是参数(即x值,即重量的微小变化)

最佳答案

梯度告诉您要移动的方向,而步长将有助于控制移动的幅度,以便序列收敛。

我们不能只减去步数。回想一下,step 只是一个标量。 W0 是一个张量。我们不能用标量减去张量。梯度是一个与 W0 大小相同的张量,这将使减法得到很好的定义。

阅读gradient descent可能有助于您的理解。

关于python - 张量运算的导数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56994291/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com