- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我想对单个 sess.run()
调用执行多个梯度下降步骤。每次调用的输入都是固定的,因此我只需要传递一次。
我该怎么做?我有一个想法,但我不确定它是否会在每一步重新计算梯度(而是应用第一个梯度 N 次)。我想避免多次调用 tf.gradients()
。在依赖项中包含 grads_and_vars
就足够了吗?
N=5
fit_op_i = fit_op_0 = optimizer.apply_gradients(grads_and_vars)
for i in range(N):
with tf.control_dependencies([fit_op_i]):
fit_op_i = optimizer.apply_gradients(grads_and_vars)
fit_op_N = fit_op_i
一个相关问题的答案需要多次 sess.run()
调用: Run train op multiple times in tensorflow
最佳答案
要实现这一点,我们只需定义一系列具有指定操作之间依赖关系的唯一前向-反向传播过程,然后将它们tf.group
在一起[1]来执行在单个 session 运行中。
我的示例定义了一个感知器层,用于拟合 50 个二维高斯 Blob 。该代码在 tensorboard 中生成以下图表:
为了测试正确性,我用相同的初始化值训练了两次。第一次使用单个 forward-backprop 步骤,第二次使用 3 个步骤组合为一个操作:
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
for i in range(12):
loss_val = loss_op.eval(feed_dict={x:x_train, y:y_train})
print(i, '-->', "{0:.3f}".format(loss_val))
_ = sess.run(train_op, feed_dict={x:x_train, y:y_train})
# loss_val = loss_op.eval(feed_dict={x:x_train, y:y_train})
# print(i, '-->', "{0:.3f}".format(loss_val))
# _ = sess.run(applied_grads, feed_dict={x:x_train, y:y_train})
# 3-steps # 1-step
# 0 --> 0.693 # 0 --> 0.693 ---
# 1 --> 0.665 # 1 --> 0.683
# 2 --> 0.638 # 2 --> 0.674
# 3 --> 0.613 # 3 --> 0.665 ---
# 4 --> 0.589 # 4 --> 0.656
# 5 --> 0.567 # 5 --> 0.647
# 6 --> 0.547 # 6 --> 0.638 ---
# 7 --> 0.527 # 7 --> 0.630
# 8 --> 0.509 # 8 --> 0.622
# 9 --> 0.492 # 9 --> 0.613 ---
# ...
它显然对应于 3 个步骤。完整示例:
from sklearn.datasets import make_blobs
import tensorflow as tf
import numpy as np
tf.reset_default_graph()
times_to_apply = 3 # number of steps to perform
with tf.name_scope('x'):
x = tf.placeholder(tf.float32, shape=(None, 2))
with tf.name_scope('y'):
y = tf.placeholder(tf.int32, shape=(50))
logits = tf.layers.dense(inputs=x,
units=2,
name='NN',
kernel_initializer=tf.initializers.ones,
bias_initializer=tf.initializers.zeros)
optimizer = tf.train.GradientDescentOptimizer(0.01)
with tf.name_scope('loss-step-1'):
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
loss_op = tf.reduce_mean(xentropy)
with tf.name_scope('optimizer-step-1'):
grads_and_vars = optimizer.compute_gradients(loss_op)
applied_grads = optimizer.apply_gradients(grads_and_vars)
all_grads_and_vars = [grads_and_vars]
all_applied_grads = [applied_grads]
all_loss_ops = [loss_op]
for i in range(times_to_apply - 1):
with tf.control_dependencies([all_applied_grads[-1]]):
with tf.name_scope('loss-step-' + str(i + 2)):
xentropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=y, logits=logits)
all_loss_ops.append(tf.reduce_mean(xentropy))
with tf.control_dependencies([all_loss_ops[-1]]):
with tf.name_scope('optimizer-step-' + str(i + 2)):
all_grads_and_vars.append(optimizer.compute_gradients(all_loss_ops[-1]))
all_applied_grads.append(optimizer.apply_gradients(all_grads_and_vars[-1]))
train_op = tf.group(all_applied_grads)
[1] @eqzx 完全正确。没有必要将操作分组在一起。为了达到相同的效果,我们可以只执行具有明确定义的依赖项的最终优化器步骤。
关于tensorflow - 单 tensorflow sess.run() 中的多步梯度下降,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45805977/
我正在尝试调整 tf DeepDream 教程代码以使用另一个模型。现在当我调用 tf.gradients() 时: t_grad = tf.gradients(t_score, t_input)[0
考虑到 tensorflow 中 mnist 上的一个简单的小批量梯度下降问题(就像在这个 tutorial 中),我如何单独检索批次中每个示例的梯度。 tf.gradients()似乎返回批次中所有
当我在 numpy 中计算屏蔽数组的梯度时 import numpy as np import numpy.ma as ma x = np.array([100, 2, 3, 5, 5, 5, 10,
除了数值计算之外,是否有一种快速方法来获取协方差矩阵(我的网络激活)的导数? 我试图将其用作深度神经网络中成本函数中的惩罚项,但为了通过我的层反向传播误差,我需要获得导数。 在Matlab中,如果“a
我有一个计算 3D 空间标量场值的函数,所以我为它提供 x、y 和 z 坐标(由 numpy.meshgrid 获得)的 3D 张量,并在各处使用元素运算。这按预期工作。 现在我需要计算标量场的梯度。
我正在使用内核密度估计 (KDE) ( http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.gaussian_kde.htm
我对 tensorflow gradient documentation 中的示例感到困惑用于计算梯度。 a = tf.constant(0.) b = 2 * a g = tf.gradients(
我有一个 softmax 层(只有激活本身,没有将输入乘以权重的线性部分),我想对其进行向后传递。 我找到了很多关于 SO 的教程/答案来处理它,但它们似乎都使用 X 作为 (1, n_inputs)
仅供引用,我正在尝试使用 Tensorflow 实现梯度下降算法。 我有一个矩阵X [ x1 x2 x3 x4 ] [ x5 x6 x7 x8 ] 我乘以一些特征向量 Y 得到 Z [ y
我目前有一个由几百万个不均匀分布的粒子组成的体积,每个粒子都有一个属性(对于那些好奇的人来说是潜在的),我想为其计算局部力(加速度)。 np.gradient 仅适用于均匀间隔的数据,我在这里查看:S
我正在寻找有关如何实现 Gradient (steepest) Descent 的建议在 C 中。我正在寻找 f(x)=||Ax-y||^2 的最小值,其中给出了 A(n,n) 和 y(n)。 这在
我正在查看 SVM 损失和导数的代码,我确实理解了损失,但我无法理解如何以矢量化方式计算梯度 def svm_loss_vectorized(W, X, y, reg): loss = 0.0 dW
我正在寻找一种有效的方法来计算 Julia 中多维数组的导数。准确地说,我想要一个等效的 numpy.gradient在 Julia 。但是,Julia 函数 diff : 仅适用于二维数组 沿微分维
我在cathesian 2D 系统中有两个点,它们都给了我向量的起点和终点。现在我需要新向量和 x 轴之间的角度。 我知道梯度 = (y2-y1)/(x2-x1) 并且我知道角度 = arctan(g
我有一个 2D 数组正弦模式,想要绘制该函数的 x 和 y 梯度。我有一个二维数组 image_data : def get_image(params): # do some maths on
假设我有一个针对 MNIST 数据的简单 TensorFlow 模型,如下所示 import tensorflow as tf from tensorflow.examples.tutorials.m
我想查看我的 Tensorflow LSTM 随时间变化的梯度,例如,绘制从 t=N 到 t=0 的梯度范数。问题是,如何从 Tensorflow 中获取每个时间步长的梯度? 最佳答案 在图中定义:
我有一个简单的神经网络,我试图通过使用如下回调使用张量板绘制梯度: class GradientCallback(tf.keras.callbacks.Callback): console =
在CIFAR-10教程中,我注意到变量被放置在CPU内存中,但它在cifar10-train.py中有说明。它是使用单个 GPU 进行训练的。 我很困惑..图层/激活是否存储在 GPU 中?或者,梯度
我有一个 tensorflow 模型,其中层的输出是二维张量,例如 t = [[1,2], [3,4]] . 下一层需要一个由该张量的每一行组合组成的输入。也就是说,我需要把它变成t_new = [[
我是一名优秀的程序员,十分优秀!