gpt4 book ai didi

python - tensorflow 中具有权重衰减参数的 SGD

转载 作者:行者123 更新时间:2023-12-01 08:14:54 24 4
gpt4 key购买 nike

在Keras和Pytorch中,SGD优化器有权重衰减参数。我发现tf.train.GradientDescentOptimizer没有权重衰减参数。具有权重衰减的 SGD 的 tensorflow 等效项是多少?

Pytorch Optim - https://pytorch.org/docs/stable/optim.html

Keras 优化器 - https://keras.io/optimizers/

最佳答案

在 TensorFlow 中实现权重衰减的一种方法是在损失中添加 L2 正则化。这相当于标准 SGD 的权重衰减(但不适用于自适应梯度优化器),根据 Decoupled Weight Decay Regularization Loshchilov 和 Hutter 的论文。

关于python - tensorflow 中具有权重衰减参数的 SGD,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55046234/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com