python - pybrain LSTM 层缓冲区变量

Question

在 pybrain LSTM 层中，有这些缓冲区用于存储值。

 'bufferlist': [   ('ingate', 20),
                      ('outgate', 20),
                      ('forgetgate', 20),
                      ('ingatex', 20),
                      ('outgatex', 20),
                      ('forgetgatex', 20),
                      ('state', 20),
                      ('ingateError', 20),
                      ('outgateError', 20),
                      ('forgetgateError', 20),
                      ('stateError', 20),
                      ('inputbuffer', 80),
                      ('inputerror', 80),
                      ('outputbuffer', 20),
                      ('outputerror', 20)],

谁能解释一下这些变量的用途吗？我正在尝试激活 LSTM 层。我应该采用哪个变量？

Answer 1

激活位于“outputbuffer”中。

关于变量的用途(你的问题有点不清楚)，你看原文paper会更容易。如果您指的是实现中的具体用法而不是它们在模型中的用法，则应该检查 LSTMLayer实现，它使用这些变量。

大多数变量的命名与论文中的完全相同。如果您理解这些概念，那就非常简单了。唯一需要补充的是，以“x”结尾的门(outgatex，forgetgatex，ingatex)是根据窥视孔连接计算的值，而(outgate，forgetgate，ingate)是总门值。