machine-learning - XOR 循环神经网络的序列训练数据

Question

我正在尝试实现一个循环神经网络，并尝试让它学习 XOR 函数作为一个小例子。

由于它是一个循环网络，我认为让它仅与一个输入单元一起工作可能会很好，以便看看它记住其先前状态的效果如何；即根据顺序输入实现 XOR 函数:

INPUT(t-1) = 0
INPUT(t)   = 1
OUTPUT(t)  = 1

或

INPUT(t-1) = 1
INPUT(t)   = 1
OUTPUT(t)  = 0

因此，我的输入训练数据按以下顺序一次一点地呈现:

inputs = { 0, 0, 1, 1, 0 }

以及相应的目标输出

targets = { 0, 0, 1, 0, 1 }.

但这不是学习，尽管我知道这可能有很多原因，但我想知道也许我没有正确定义我的数据集，因此我不会向我的网络提出正确的问题。我来到这里寻找关于“顺序”异或函数的监督学习的正确训练集的想法。

我正在研究的实现与 Elman RNN 类似，如果您需要任何详细信息，请询问。

Answer 1

以下链接:https://code.google.com/p/encog-java/source/browse/trunk/encog-examples/src/org/encog/examples/neural/recurrent/elman/ElmanXOR.java?r=2423

包含一个可处理 XOR 问题的循环 Elman 网络实现。它使用Encog(相对容易使用)来处理网络本身的实现。希望您能够看到实现中的差异并进行纠正。