- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在尝试实现我自己的 LSTM 网络。我实现了反向传播算法,但它没有通过梯度检查。无法意识到错误在哪里。请帮忙
这是问题代码:
def backward_propagation(self, x, y, cache):
# T - the length of the sequence
T = len(y)
# perform forward propagation
cache = self.forward_propagation(x)
# ...
# delta for output layer
dy = cache['y'].copy()
dy[np.arange(len(y)), y] -= 1. # softmax loss gradient
dhtmp = np.zeros((1, self.hidden_dim))
dctmp = np.zeros((1, self.hidden_dim))
for t in np.arange(T)[::-1]:
dV += np.outer(dy[t], h[t].T)
dhtmp = self.V.T.dot(dy[t])
for bptt_step in np.arange(0, t+1)[::-1]:
# add to gradients at each previous step
do[bptt_step] = dhtmp * ct[bptt_step]
dct[bptt_step] = dhtmp * o[bptt_step]
dctmp += dct[bptt_step] * (1.0 - ct[bptt_step]**2)
di[bptt_step] = dctmp * g[bptt_step]
df[bptt_step] = dctmp * c[bptt_step-1]
dg[bptt_step] = dctmp * i[bptt_step]
# backprop activation functions
diga[bptt_step] = di[bptt_step] * i[bptt_step] * (1.0 - i[bptt_step])
dfga[bptt_step] = df[bptt_step] * f[bptt_step] * (1.0 - f[bptt_step])
doga[bptt_step] = do[bptt_step] * o[bptt_step] * (1.0 - o[bptt_step])
dgga[bptt_step] = dg[bptt_step] * (1.0 - g[bptt_step] ** 2)
# backprop matrix multiply
dWi += np.outer(diga[bptt_step], h[bptt_step-1])
dWf += np.outer(dfga[bptt_step], h[bptt_step-1])
dWo += np.outer(doga[bptt_step], h[bptt_step-1])
dWg += np.outer(dgga[bptt_step], h[bptt_step-1])
dUi[:, x[bptt_step]] += diga[bptt_step]
dUf[:, x[bptt_step]] += dfga[bptt_step]
dUo[:, x[bptt_step]] += doga[bptt_step]
dUg[:, x[bptt_step]] += dgga[bptt_step]
# update deltas for next step
# here dh is accumulated as shared variable
dhtmp = np.dot(self.Wi, diga[bptt_step])
# dhtmp += np.dot(self.Wf, dfga[bptt_step]) <- is it needed to accumulate other dhtmp's?
# dhtmp += np.dot(self.Wo, doga[bptt_step])
# dhtmp += np.dot(self.Wg, dgga[bptt_step])
dctmp = dctmp * f[bptt_step]
return [dV, dWi, dWf, dWo, dWg, dUi, dUf, dUo, dUg]
我想我在矩阵向量乘法或更改 dhtmp、dctmp 时可能会犯一些错误。
最佳答案
嗯,过了一段时间我终于明白了。有一个额外的内循环。此代码运行良好:
def backward_propagation(self, x, y, cache):
# T - the length of the sequence
T = len(y)
# perform forward propagation
cache = self.forward_propagation(x)
#...
# delta for output layer
dy = cache['y'].copy()
dy[np.arange(len(y)), y] -= 1.0 # softmax loss gradient
# print("dy: ", dy)
dhtmp = np.zeros((1, self.hidden_dim))
dh_prev = np.zeros((1, self.hidden_dim))
dctmp = np.zeros((1, self.hidden_dim))
for t in np.arange(T)[::-1]:
dV += np.outer(dy[t], h[t].T)
dhtmp = self.V.T.dot(dy[t]) + dh_prev
# add to gradients at each previous step
do[t] = dhtmp * ct[t]
dct[t] = dhtmp * o[t]
dctmp += dct[t] * (1.0 - ct[t]**2)
di[t] = dctmp * g[t]
df[t] = dctmp * c[t-1]
dg[t] = dctmp * i[t]
# backprop activation functions
diga[t] = di[t] * i[t] * (1.0 - i[t])
dfga[t] = df[t] * f[t] * (1.0 - f[t])
doga[t] = do[t] * o[t] * (1.0 - o[t])
dgga[t] = dg[t] * (1.0 - g[t] ** 2)
# backprop matrix multiply
dWi += np.outer(diga[t], h[t-1])
dWf += np.outer(dfga[t], h[t-1])
dWo += np.outer(doga[t], h[t-1])
dWg += np.outer(dgga[t], h[t-1])
dUi[:, x[t]] += diga[t]
dUf[:, x[t]] += dfga[t]
dUo[:, x[t]] += doga[t]
dUg[:, x[t]] += dgga[t]
# update deltas for next step
# here dh is accumulated as shared variable
dh_prev = np.dot(self.Wi.T, diga[t])
dh_prev += np.dot(self.Wf.T, dfga[t])
dh_prev += np.dot(self.Wo.T, doga[t])
dh_prev += np.dot(self.Wg.T, dgga[t])
dctmp = dctmp * f[t]
return [dV, dWi, dWf, dWo, dWg, dUi, dUf, dUo, dUg]
希望有人会觉得这个答案有用。
关于python - LSTM 反向传播梯度检查的问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42643333/
我正在尝试调整 tf DeepDream 教程代码以使用另一个模型。现在当我调用 tf.gradients() 时: t_grad = tf.gradients(t_score, t_input)[0
考虑到 tensorflow 中 mnist 上的一个简单的小批量梯度下降问题(就像在这个 tutorial 中),我如何单独检索批次中每个示例的梯度。 tf.gradients()似乎返回批次中所有
当我在 numpy 中计算屏蔽数组的梯度时 import numpy as np import numpy.ma as ma x = np.array([100, 2, 3, 5, 5, 5, 10,
除了数值计算之外,是否有一种快速方法来获取协方差矩阵(我的网络激活)的导数? 我试图将其用作深度神经网络中成本函数中的惩罚项,但为了通过我的层反向传播误差,我需要获得导数。 在Matlab中,如果“a
我有一个计算 3D 空间标量场值的函数,所以我为它提供 x、y 和 z 坐标(由 numpy.meshgrid 获得)的 3D 张量,并在各处使用元素运算。这按预期工作。 现在我需要计算标量场的梯度。
我正在使用内核密度估计 (KDE) ( http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.gaussian_kde.htm
我对 tensorflow gradient documentation 中的示例感到困惑用于计算梯度。 a = tf.constant(0.) b = 2 * a g = tf.gradients(
我有一个 softmax 层(只有激活本身,没有将输入乘以权重的线性部分),我想对其进行向后传递。 我找到了很多关于 SO 的教程/答案来处理它,但它们似乎都使用 X 作为 (1, n_inputs)
仅供引用,我正在尝试使用 Tensorflow 实现梯度下降算法。 我有一个矩阵X [ x1 x2 x3 x4 ] [ x5 x6 x7 x8 ] 我乘以一些特征向量 Y 得到 Z [ y
我目前有一个由几百万个不均匀分布的粒子组成的体积,每个粒子都有一个属性(对于那些好奇的人来说是潜在的),我想为其计算局部力(加速度)。 np.gradient 仅适用于均匀间隔的数据,我在这里查看:S
我正在寻找有关如何实现 Gradient (steepest) Descent 的建议在 C 中。我正在寻找 f(x)=||Ax-y||^2 的最小值,其中给出了 A(n,n) 和 y(n)。 这在
我正在查看 SVM 损失和导数的代码,我确实理解了损失,但我无法理解如何以矢量化方式计算梯度 def svm_loss_vectorized(W, X, y, reg): loss = 0.0 dW
我正在寻找一种有效的方法来计算 Julia 中多维数组的导数。准确地说,我想要一个等效的 numpy.gradient在 Julia 。但是,Julia 函数 diff : 仅适用于二维数组 沿微分维
我在cathesian 2D 系统中有两个点,它们都给了我向量的起点和终点。现在我需要新向量和 x 轴之间的角度。 我知道梯度 = (y2-y1)/(x2-x1) 并且我知道角度 = arctan(g
我有一个 2D 数组正弦模式,想要绘制该函数的 x 和 y 梯度。我有一个二维数组 image_data : def get_image(params): # do some maths on
假设我有一个针对 MNIST 数据的简单 TensorFlow 模型,如下所示 import tensorflow as tf from tensorflow.examples.tutorials.m
我想查看我的 Tensorflow LSTM 随时间变化的梯度,例如,绘制从 t=N 到 t=0 的梯度范数。问题是,如何从 Tensorflow 中获取每个时间步长的梯度? 最佳答案 在图中定义:
我有一个简单的神经网络,我试图通过使用如下回调使用张量板绘制梯度: class GradientCallback(tf.keras.callbacks.Callback): console =
在CIFAR-10教程中,我注意到变量被放置在CPU内存中,但它在cifar10-train.py中有说明。它是使用单个 GPU 进行训练的。 我很困惑..图层/激活是否存储在 GPU 中?或者,梯度
我有一个 tensorflow 模型,其中层的输出是二维张量,例如 t = [[1,2], [3,4]] . 下一层需要一个由该张量的每一行组合组成的输入。也就是说,我需要把它变成t_new = [[
我是一名优秀的程序员,十分优秀!