python - Keras LSTM 的输入转换

Question

我正在开展一个项目，试图增强我对 LSTM 网络的理解。我正在按照这篇博文here中概述的步骤进行操作。我的数据集如下所示:

    Open    High    Low Close   Volume
Date                    
2014-04-21  197.080002  206.199997  194.000000   
204.380005  5258200
2014-04-22  206.360001  219.330002  205.009995   
218.639999  9804700
2014-04-23  216.330002  216.740005  207.000000   
207.990005  7295600
2014-04-24  210.809998  212.800003  203.199997   
207.860001  5495200
2014-04-25  202.000000  206.699997  197.649994   
199.850006  6996700

正如您所看到的，这是 TSLA 股票走势的一个小快照。

据我了解，使用 LSTM，需要将这些数据重新整形为三个维度:

1. 批量大小

2. 时间步长

3. 功能

我最初的想法是使用某种中等批量大小(以实现最佳泛化)。另外，以时间步长回顾 10 天的历史。具有开盘价、最高价、最低价、交易量、收盘价等功能。

这是我有点卡住的地方。我具体有两个问题:

1. 将数据分解为新表示(转换)的方法是什么？

2. 我们如何将其分为训练集、测试集和验证集？我很难准确地概念化正在分解的内容。我最初的想法是使用 sklearn:

   train_test_split()

但这似乎在这种情况下不起作用。

显然，一旦数据被转换然后分割，构建 Keras 模型就很容易了。只需调用 fit.(data) 即可。

任何建议或资源(指向正确的方向)将不胜感激。

我当前的代码是:

from sklearn.model_selection import train_test_split 

# Split the Data into Training and Testing Data
tsla_train, tsla_test = train_test_split(tsla)

tsla_train.shape
tsla_test.shape

from sklearn.preprocessing import MinMaxScaler

# Scale the Data
scaler = MinMaxScaler()

scaler.fit(tsla_train)

tsla_train_scaled = scaler.transform(tsla_train)
tsla_test_scaled = scaler.transform(tsla_test)

# Define the parameters of the model

batch_size = 20

# Set the model to look back on four days of historical data and 
try to predict the fifth
time_steps = 10

from keras.models import Sequential
from keras.layers import LSTM, Dense

lstm_model = Sequential()

这篇文章 here 中有一些解释.

Answer 1

train_test_split 函数确实不会给出期望的结果。它假设每一行都是一个独立的数据点，但事实并非如此，因为您使用的是单个时间序列。

最常见的选择是使用较早的数据点进行训练，使用较晚的数据点进行测试(如果适用，则使用中间的一系列点进行验证)，这将为您提供与使用所有数据点相同的结果训练集中最后一天训练的可用数据，并实际将其用于接下来几天的预测。

分割数据集后，每个训练批处理都需要具有随机选择的一组日期范围的输入和相应的输出，其中每个输入是所选的历史数据天数(即天×特征，完整批处理为批处理大小×天×特征)，输出只是第二天的数据，

希望这有助于加深对程序背后的一些直觉。您链接的文章包含您需要的大部分代码的示例——它会非常密集，但我建议您尝试逐行了解它正在执行的所有操作，甚至可能只是逐字输入。