gpt4 book ai didi

tensorflow - 检查反向传播梯度

转载 作者:行者123 更新时间:2023-12-03 01:01:50 25 4
gpt4 key购买 nike

我正在尝试将用纯 python 编码的强化学习脚本改编为 tensorflow 。

我设计了它,当我开始对其进行采样时,我在前向传播中得到了完全相同的值(对于第一个样本),但随后我的反向传播和梯度值并不相同(甚至不接近)。

我认为这与通过 RELU 非线性进行反向传播有关,但我也不完全确定。

逐步了解网络架构反向传播的最简单方法是什么?

最佳答案

一种方法是打印反向传播梯度的值:

optimizer = tf.train.AdamOptimizer() 
variables = tf.trainable_variables()
gradients = optimizer.compute_gradients(cost, variables)

然后,您可以通过将计算出的梯度值传递给 sess.run 函数来检查它们

关于tensorflow - 检查反向传播梯度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40687278/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com