python - 喀拉斯 LSTM : a time-series multi-step multi-features forecasting - poor results

Question

我有一个包含全年数据的时间序列数据集(日期是索引)。每 15 分钟(全年)测量一次数据，这导致每天有 96 个时间步长。数据已经标准化。变量是相关的。除 VAR 外的所有变量都是天气指标。

VAR 在一天和一周内是季节性的(因为它在周末看起来有点不同，但每个周末都差不多)。 VAR 值是固定的。我想预测接下来两天(提前 192 步)和接下来 7 天(提前 672 步)的 VAR 值。

这是数据集的样本:

DateIdx               VAR       dewpt       hum         press       temp
2017-04-17 00:00:00   0.369397  0.155039    0.386792    0.196721    0.238889
2017-04-17 00:15:00   0.363214  0.147287    0.429245    0.196721    0.233333
2017-04-17 00:30:00   0.357032  0.139535    0.471698    0.196721    0.227778
2017-04-17 00:45:00   0.323029  0.127907    0.429245    0.204918    0.219444
2017-04-17 01:00:00   0.347759  0.116279    0.386792    0.213115    0.211111
2017-04-17 01:15:00   0.346213  0.127907    0.476415    0.204918    0.169444
2017-04-17 01:30:00   0.259660  0.139535    0.566038    0.196721    0.127778
2017-04-17 01:45:00   0.205564  0.073643    0.523585    0.172131    0.091667
2017-04-17 02:00:00   0.157650  0.007752    0.481132    0.147541    0.055556
2017-04-17 02:15:00   0.122101  0.003876    0.476415    0.122951    0.091667

Input dataset plot

我决定在 Keras 中使用 LSTM。有了全年的数据，我将过去 329 天的数据用作训练数据，其余的用于训练期间的验证。train_X -> 包含整个措施，包括 329 天的 VARtrain_Y -> 仅包含 329 天的 VAR。该值向前移动一位。其余时间步转到 test_X 和 test_Y。

这是我准备 train_X 和 train_Y 的代码:

#X -> is the whole dataframe
#Y -> is a vector of VAR from whole dataframe, already shifted 1 step ahead

#329 * 96 = 31584
train_X = X[:31584]
train_X = train_X.reshape(train_X.shape[0],1,5)
train_Y = Y[:31584]  
train_Y = train_Y.reshape(train_Y.shape[0],1)

为了预测下一个 VAR 值，我想使用过去的 672 个时间步长(整周测量)。为此，我设置了 batch_size=672，因此“fit”命令如下所示:

history = model.fit(train_X, train_Y, epochs=50, batch_size=672, validation_data=(test_X, test_Y), shuffle=False)  

这是我的网络架构:

model = models.Sequential()
model.add(layers.LSTM(672, input_shape=(None, 672), return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(336, return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(168, return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(84, return_sequences=True))
model.add(layers.Dropout(0.2))
model.add(layers.LSTM(21, return_sequences=False))
model.add(layers.Dense(1))
model.compile(loss='mae', optimizer='adam')
model.summary()

从下图中我们可以看出，网络在 50 个 epoch 后学习了“一些东西”:

Plot from the learning process

为了预测目的，我准备了一组数据，其中包含最后 672 个步骤的所有值和 96 个没有 VAR 值的步骤——这应该被预测。我还使用了自回归，所以我在每次预测后更新 VAR 并将其用于下一次预测。

predX 数据集(用于预测)如下所示:

print(predX['VAR'][668:677])

DateIdx            VAR
2017-04-23 23:00:00    0.307573
2017-04-23 23:15:00    0.278207
2017-04-23 23:30:00    0.284390
2017-04-23 23:45:00    0.309118
2017-04-24 00:00:00         NaN
2017-04-24 00:15:00         NaN
2017-04-24 00:30:00         NaN
2017-04-24 00:45:00         NaN
2017-04-24 01:00:00         NaN
Name: VAR, dtype: float64

这是我用来预测接下来的 96 个步骤的代码(自回归):

stepsAhead = 96
historySteps = 672

for i in range(0,stepsAhead):
    j = i + historySteps
    ypred = model.predict(predX.values[i:j].reshape(1,historySteps,5))
    predX['VAR'][j] = ypred

不幸的是，结果很差，与预期相去甚远:

A Plot with predicted data

与前一天的结果相结合:

Predicted data combined with a previous day

除了“我做错了什么”这个问题，我想问几个问题:

Q1. 在模型整理过程中，我刚刚将整个历史按 672 大小分批处理。这是对的吗？我应该如何组织模型拟合的数据集？我有什么选择？我应该使用“滑动窗口”方法(如此处的链接:https://machinelearningmastery.com/promise-recurrent-neural-networks-time-series-forecasting/)吗？

Q2. 50 个 epoch 够吗？这里的常见做法是什么？也许网络不适合导致预测不佳？到目前为止，我尝试了 200 个 epoch，结果相同。

问题 3. 我应该尝试不同的架构吗？拟议的网络是否“足够大”以处理此类数据？也许“有状态”网络是这里的正确方法？

Q4. 我是否正确实现了自回归？是否有任何其他方法可以预测 future 的许多步骤，例如192 或 672 就像我的情况一样？

Answer 1

看起来对于如何组织数据来训练 RNN 存在困惑。那么让我们来回答问题:

1. 一旦您拥有二维数据集(total_samples, 5)，您就可以使用TimeseriesGenerator创建一个滑动窗口，它将为您生成 (batch_size, past_timesteps, 5)。在这种情况下，您将使用 .fit_generator 来训练网络。
2. 如果得到相同的结果，50 个 epoch 应该没问题。您通常会根据网络的性能进行调整。但是，如果您比较两种不同的网络架构，则应保持不变。
3. 架构非常庞大，因为您的目标是同时预测所有 672 个 future 值。您可以设计网络，使其学会一次预测一个测量值。在预测时，您可以预测一个点并再次输入该点以预测下一个点，直到得到 672。
4. 这与答案 3 相关，您可以学习一次预测一个，并在训练后将预测链接到 n 个预测。

单点预测模型可能如下所示:

model = Sequential()
model.add(LSTM(128, return_sequences=True, input_shape=(past_timesteps, 5))
model.add(LSTM(64))
model.add(Dense(1))