python - Tensorflow LSTM 网络为整批输出相同的值

Question

我在 tensorflow 上运行 RNN，我的输出是一个非常简单的 2 向量数组。 RNN 所要做的就是选择一个值作为 1，一个值作为 0。但是，当我通过 RNN 运行我的批处理时，我似乎为该批处理的每个输入获得了相同的输出。例如:

如果我的实际输出标签是:

[[ 1.  0.]
 [ 1.  0.]
 [ 0.  1.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]
 [ 0.  1.]
 [ 0.  1.]
 [ 1.  0.]
 [ 1.  0.]
 [ 0.  1.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]
 [ 1.  0.]]

我的 RNN 输出:

[[  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]
 [  1.00000000e+00   7.93261263e-14]]

这显然是错误的。我正在为我的 RNN 提供形状为 [batch_size, time_steps_features] 的张量，并且我正在使用 tf.nn.dynamic_rnn() 来运行 RNN。我尝试过的任何东西似乎都不起作用。

我一直在努力解决这个问题，我们将不胜感激任何帮助。

谢谢!

Answer 1

看起来您可能不会在不同时期之间重新洗牌您的批处理中的样本。这可以将(错误的)最小化到您无法摆脱的局部最小值。

尽量不要在每次迭代中以相同的顺序提供输入，您应该收敛到更合理的东西。