python - Pybrain 中的 Elman 网络

Question

我正在尝试使用 Pybrain 创建 Elman 网络(又名简单循环网络)，我认为代码应该如下所示:

n = RecurentNetwork()
n.addInputModule(LinearLayer(5, name = 'in'))
n.addModule(TanhLayer(10, name = 'hidden'))
n.addModule(LinearLayer(10, name = 'context'))
n.addOutputModule(LinearLayer(5, name = 'out'))
n.addConnection(FullConnection(n['in'], n['hidden'], name = 'in_to_hidden'))
n.addConnection(FullConnection(n['hidden'], n['out'], name = 'hidden_to_out'))
n.addConnection(IdentityConnection(n['hidden'], n['context'], name = 'hidden_to_context'))
n.addConnection(IdentityConnection(n['context'], n['hidden'], name = 'context_to_hidden')) 

我的问题是我不知道如何获取上下文节点(在时间 t)来保留最后一次迭代(在时间 t-1)的隐藏节点的值，以便将它们提供给隐藏节点本次迭代中的节点(在时间 t)以及如何将 hide_to_context 中的权重修复为 1。现在情况如何，我收到一条错误消息，说网络中存在“循环”(确实有一个)。任何帮助将非常感激。非常感谢。

干杯，

布鲁诺

Answer 1

我会看看这一部分:

http://pybrain.org/docs/tutorial/netmodcon.html#using-recurrent-networks

特别是

The RecurrentNetwork class has one additional method, .addRecurrentConnection(), which looks back in time one timestep.