个人中心
gpt4 book ai didi

Keras SGD 随机梯度下降优化器参数设置方式

转载 作者：qq735679552 更新时间：2022-09-29 22:32:09 26 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Keras SGD 随机梯度下降优化器参数设置方式由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

SGD 随机梯度下降 。

Keras 中包含了各式优化器供我们使用，但通常我会倾向于使用 SGD 验证模型能否快速收敛，然后调整不同的学习速率看看模型最后的性能，然后再尝试使用其他优化器.

Keras 中文文档中对 SGD 的描述如下:

keras.optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False) 。

随机梯度下降法，支持动量参数，支持学习衰减率，支持Nesterov动量 。

参数:

lr：大或等于0的浮点数，学习率 。

momentum：大或等于0的浮点数，动量参数 。

decay：大或等于0的浮点数，每次更新后的学习率衰减值 。

nesterov：布尔值，确定是否使用Nesterov动量 。

参数设置 。

Time-Based Learning Rate Schedule 。

Keras 已经内置了一个基于时间的学习速率调整表，并通过上述参数中的 decay 来实现，学习速率的调整公式如下:

LearningRate = LearningRate * 1/(1 + decay * epoch) 。

当我们初始化参数为:

LearningRate = 0.1 decay = 0.001 。

大致变化曲线如下（非实际曲线，仅示意）:

Keras SGD 随机梯度下降优化器参数设置方式

当然，方便起见，我们可以将优化器设置如下，使其学习速率随着训练轮次变化:

sgd = SGD(lr=learning_rate, decay=learning_rate/nb_epoch, momentum=0.9, nesterov=True) 。

Drop-Based Learning Rate Schedule 。

另外一种学习速率的调整方法思路是保持一个恒定学习速率一段时间后立即降低，是一种突变的方式。通常整个变化趋势为指数形式.

Keras SGD 随机梯度下降优化器参数设置方式

对应的学习速率变化公式如下:

LearningRate = InitialLearningRate * DropRate^floor(Epoch / EpochDrop) 。

实现需要使用 Keras 中的 LearningRateScheduler 模块:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
from keras.callbacks import LearningRateScheduler
# learning rate schedule
def step_decay(epoch):
  initial_lrate = 0.1
  drop = 0.5
  epochs_drop = 10.0
  lrate = initial_lrate * math. pow (drop, math.floor(( 1 + epoch) / epochs_drop))
  return lrate
 
lrate = LearningRateScheduler(step_decay)
 
# Compile model
sgd = SGD(lr = 0.0 , momentum = 0.9 , decay = 0.0 , nesterov = False )
model. compile (loss = ..., optimizer = sgd, metrics = [ 'accuracy' ])
 
# Fit the model
model.fit(X, Y, ..., callbacks = [lrate])

补充知识：keras中的BGD和SGD 。

关于BGD和SGD 。

首先BGD为批梯度下降，即所有样本计算完毕后才进行梯度更新；而SGD为随机梯度下降，随机计算一次样本就进行梯度下降，所以速度快很多但容易陷入局部最优值.

折中的办法是采用小批的梯度下降，即把数据分成若干个批次，一批来进行一次梯度下降，减少随机性，计算量也不是很大。 mini-batch 。

keras中的batch_size就是小批梯度下降.

以上这篇Keras SGD 随机梯度下降优化器参数设置方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/u012862372/article/details/80319166 。

最后此篇关于Keras SGD 随机梯度下降优化器参数设置方式的文章就讲到这里了,如果你想了解更多关于Keras SGD 随机梯度下降优化器参数设置方式的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

26 4 0
文章推荐： python中setuptools的作用是什么
文章推荐： python怎么判断模块安装完成
文章推荐： python支持多继承吗
文章推荐： python和php哪个容易学
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com