个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
37
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章人工智能学习Pytorch梯度下降优化示例详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
函数图像以及表达式如下:
通过该函数，可以将输入的负无穷到正无穷的输入压缩到0-1之间。在x=0的时候，输出0.5 。
通过PyTorch实现方式如下:
在RNN中比较常用，由sigmoid函数变化而来。表达式以及图像如下图所示:
该函数的取值是-1到1，导数是：1-Tanh**2.
通过PyTorch的实现方式如下:
该函数可以将输入小于0的值截断为0，大于0的值保持不变。因此在小于0的地方导数为0，大于0的地方导数为1，因此求导计算非常方便.
通过PyTorch的实现方式如下:
。
通常，我们使用mean squared error也就是均方误差来作为损失函数.
torch.autograd.grad(loss, [w1,w2,...]) 。
输入的第一个是损失函数，第二个是参数的列表，即使只有一个，也需要加上中括号.
我们可以直接通过mse_loss的方法，来直接创建损失函数.
在torch.autograd.grad中输入损失函数mse，以及希望求导的对象[w]，可以直接求导.
注意：我们需要在创建w的时候，需要添加requires_grad=True，我们才能对它求导.
也可以通过w.requires_grad_()的方法，为其添加可以求导的属性.
该方法是直接在损失函数上面调用的 。
这个方法不会返回梯度信息，而是将梯度信息保存到了参数中，直接用w.grad就可以查看.
该函数将差距较大的输入，转换成处于0-1之间的概率，并且所有概率和为1.
对softmax函数的求导:
设输入是a，通过了softmax输出的是p 。
注意：当i=j时，偏导是正的，i != j时，偏导是负的.
通过PyTorch实现方式如下:
。
单层感知机其实就是只有一个节点，数据*权重，输入这个节点，经过sigmoid函数转换，得到输出值。根据链式法则可以求得梯度.
通过PyTorch可以轻松实现函数转换以及求导.
输出值变多了，因此节点变多了。但求导方式其实是一样的.
通过PyTorch实现求导的方式如下:
中间加了隐藏层，只是调节了输出节点的输入内容。原本是数据直接输给输出节点，现在是中间层的输出作为输入，给了输出节点。使用PyTorch实现方式如下:
依旧是通过链式法则，每一个结点的输出sigmoid(x)都是下一个结点的输入，因此我们通过前向传播得到每一个结点的sigmoid函数，以及最终的输出结果，算出损失函数后，即可通过后向传播依次推算出每一个结点每一个参数的梯度.
下面的DELTA(k)只是将一部分内容统一写作一个字母来表示，具体推导不再详述.
。
通过以下函数进行优化.
优化流程：初始化参数→前向传播算出预测值→得到损失函数→反向传播得到梯度→对参数更新→再次前向传播→...... 。
在此案例中，优化流程有一些不同:
优化之前先选择优化器，并直接把参数，以及梯度输入进去.
①pred = f(x)根据函数给出预测值，用以后面计算梯度.
②optimizer.zero_grad()梯度归零。因为反向传播之后，梯度会自动带到参数上去（上面有展示，可以调用查看）.
③pred.backward()用预测值计算梯度.
④pred.step()更新参数.
以上步骤循环即可.
以上就是人工智能学习Pytorch梯度下降优化示例详解的详细内容，更多关于Pytorch梯度下降优化的资料请关注我其它相关文章！ 。
原文链接：https://blog.csdn.net/Swayzzu/article/details/121098104 。
最后此篇关于人工智能学习Pytorch梯度下降优化示例详解的文章就讲到这里了,如果你想了解更多关于人工智能学习Pytorch梯度下降优化示例详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
37
4
0
我想循环遍历 gpx 文件并计算总上升和下降。我有一个函数可以计算两组经纬度点之间的高程差异，我已经设置了 simplexml 来读取和循环遍历 gpx 文件 trkseg 点。 问题是，这不准确(实
我有两个在不同时间段拍摄的数组。如何通过将新玩家标记为上升来检查哪些玩家在列表中上升/下降？ 附言- 数组已经根据分数排序。 pastData:[ { playerName:'Jo
我想捕获 ctrl/alt/etc 键的起伏，无论表单上的哪个控件获取 keyup 或 keydown 事件。由于我的表单上有大约 100 个控件，如果我要为每个单独的控件添加代码，那将非常难看。我怎
vector1 = c(2, 2, 2, 2, 2, 2) vector2 = c(2, 2, 3, 3, 3, 3) vector3 = c(2, 2, 1, 2, 2, 2) 我想知道向量中的数字
我不知道如何遵循编译器的建议:consider using a let binding to create a longer lived value。 Playground #![allow(unus
我希望有人能帮助我理解 AngularJS 中的 $scope 遇到的一个恼人的问题。请参阅下面我的代码中的注释: app.controller('MyController', function ($
我有一个 flex 搜索集群，其中有2个节点在2核CPU 8GB ram实例上运行。每个节点都传入了参数“ES_JAVA_OPTS = -Xms3g -Xmx3g”。我有4个索引，每个索引有2个分片和
我正在学习 R(及其通过 quantmod lib 在交易任务中的应用)并定期浏览社区以从这里获得许多新知识和技巧。我对 R 的总体印象和特别是 quantmod lib 的印象 - 它很棒。 在这一
当我们点击屏幕时，我正在绘制纹理正方形。我正在使用相同的纹理。在新 ios 设备中点击几次后，FPS 从 120 下降到 4 左右。每次手指点击时，我都会将点击的点以及纹理和纹理的大小传递给着色器。
只有当对象被点击并且需要从列表中移除时它才会掉落。这是代码: if(event.type == TouchEvent.TOUCH_DOWN){ for(Bottle bottl
我有一个基于SpriteKit的小游戏。 在这个游戏中，我使用了很多带有字母(或字母组合)的节点，用户可以四处移动来构建单词。 这些节点基本上是带有 SKLabelNode 的 SKSpriteNod
我有一个简单的CSS布局 wrapper header left-sidebar / main-content / right-sidebar footer 但我的主要内容似乎下降了(float dr
在标题中，我给出了四个不同的部分，并使用 float 属性使所有内容都显示在一条水平线上。 当我调整浏览器窗口大小时，最后一个 div 位于黑色边框线下方。 如何解决。 http://jsfiddle
CSS: .desc{ text-align: center; color:#60A8D5; padding-top: 17px;
这是一段简单的代码，但我为这个问题尝试过的解决方案都没有奏效。 #ONE { float: left; border: 1
我有一个 SceneKit 设置，其中有一个 Sphere 设置为 Dynamic body。 我能够运行该应用程序并看到球体落在静态 body 地板上。 我想做的是设置场景，这样 sfere 最初就
首先，我的类(class): export class FooBar { ... isFavorite: boolean = false; constructor() { this.isF
我正在尝试删除所有端口上的所有传出 RST 和传入 RST。我正在使用 Debian Linux。我尝试了互联网上列出的所有可能的命令组合，但似乎没有任何效果。 例如，我试过: iptables -A
我正在做这样的事情: fn main() { //[1, 0, 0, 0, 99]; // return [2, 0, 0, 0, 99] //[2, 3, 0, 3, 99]; //
我正在使用 Rusqlite，它可以让你做这样的查询: statement.query_row(params!([1, 2, 3]), ...); params!()定义如下: macro_rules
我是一名优秀的程序员,十分优秀！