python - 使用 LSTM 循环网络进行 Pybrain 时间序列预测

Question

我有一个问题与使用 pybrain 进行时间序列回归有关。我计划使用 pybrain 中的 LSTM 层来训练和预测时间序列。

我在下面的链接中找到了示例代码

Request for example: Recurrent neural network for predicting next value in a sequence

在上面的示例中，网络能够在训练后预测序列。但问题是，网络通过一次性将所有顺序数据馈送到输入层来接收所有顺序数据。例如，如果训练数据各有 10 个特征，则这 10 个特征将同时馈入 10 个输入节点。

据我了解，这不再是时间序列预测，对吗？既然每个特征被输入网络的时间没有区别？如果我错了，请纠正我。

因此，我想要实现的是一个只有一个输入节点和一个输出节点的循环网络。输入节点是所有时间序列数据将在不同时间步长顺序输入的地方。网络将被训练以在输出节点复制输入。

您能否建议或指导我构建我提到的网络？非常感谢您。

Answer 1

您可以训练具有单个输入节点和单个输出节点的 LSTM 网络来进行时间序列预测，如下所示:

首先，作为一个好习惯，让我们使用 Python3 的 print 函数:

from __future__ import print_function

然后，制作一个简单的时间序列:

data = [1] * 3 + [2] * 3
data *= 3
print(data)

[1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2]

现在将这个时间序列放入一个监督数据集中，其中每个样本的目标是下一个样本:

from pybrain.datasets import SequentialDataSet
from itertools import cycle

ds = SequentialDataSet(1, 1)
for sample, next_sample in zip(data, cycle(data[1:])):
    ds.addSample(sample, next_sample)

构建一个具有 1 个输入节点、5 个 LSTM 单元和 1 个输出节点的简单 LSTM 网络:

from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure.modules import LSTMLayer

net = buildNetwork(1, 5, 1, 
                   hiddenclass=LSTMLayer, outputbias=False, recurrent=True)

训练网络:

from pybrain.supervised import RPropMinusTrainer
from sys import stdout

trainer = RPropMinusTrainer(net, dataset=ds)
train_errors = [] # save errors for plotting later
EPOCHS_PER_CYCLE = 5
CYCLES = 100
EPOCHS = EPOCHS_PER_CYCLE * CYCLES
for i in xrange(CYCLES):
    trainer.trainEpochs(EPOCHS_PER_CYCLE)
    train_errors.append(trainer.testOnData())
    epoch = (i+1) * EPOCHS_PER_CYCLE
    print("\r epoch {}/{}".format(epoch, EPOCHS), end="")
    stdout.flush()

print()
print("final error =", train_errors[-1])

绘制错误(请注意，在这个简单的玩具示例中，我们正在同一数据集上进行测试和训练，这当然不是您在真实项目中所做的!):

import matplotlib.pyplot as plt

plt.plot(range(0, EPOCHS, EPOCHS_PER_CYCLE), train_errors)
plt.xlabel('epoch')
plt.ylabel('error')
plt.show()

现在要求网络预测下一个样本:

for sample, target in ds.getSequenceIterator(0):
    print("               sample = %4.1f" % sample)
    print("predicted next sample = %4.1f" % net.activate(sample))
    print("   actual next sample = %4.1f" % target)
    print()

(以上代码基于example_rnn.py和PyBrain documentation中的例子)