python - 批量独立示例中的 LSTM 多对多训练

Question

我仍在研究 LSTM，并尝试提出最佳且合适的训练例程和数据形状。

时间序列代表音符。我们姑且称之为一首歌吧。所以我有以下形式的数据。该系列由 one-hot 编码的笔记组成。所以它们有形状(时间步长，特征)。该系列的副本通过调换(上移音符)该系列而制作了十二次。然后一首歌曲将成型(12，时间步长，特征)。这十二个系列中的每一个系列都应该独立训练。此外，还有多首长度各异的歌曲。

我想训练一个 LSTM，以便在一系列的每一步中做出预测。因此，12 个系列之一的训练数据将是 X = series[:-1, :], Y = series[1:, :]，所有 12 个版本的训练数据也类似。

# Example data, numbers not one-hot encoded for brevity
series = [1, 3, 2, 4, 7, 7, 10]
X = [1, 3, 2, 4, 7, 7]
Y = [3, 2, 4, 7, 7, 10]   # Shifted 1 step back

这十二个变体将创建一个自然批处理，因为长度不变。但我向您提出的问题是:可以安排训练，使这些变体作为 12 个批处理馈送到网络中，但训练是多对多执行的吗？(每个变体一个时间步)一个预测)

目前我似乎有 a naïve approach举一个例子。它将时间步骤一一馈送到网络，并保留其间的状态:

# X = (12 * timesteps, 1, features), Y = (12 * timesteps, features)
model = Sequential()
model.add(LSTM(256, input_shape=(None, X.shape[-1]), batch_size=1, stateful=True))
model.add(Dense(Y.shape[-1], activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['categorical_accuracy'])

for epoch in range(10):
    model.fit(X, Y, epochs=1, batch_size=1, shuffle=False)
    model.reset_states()

对于一首有 12 种变化的歌曲，如何实现上述训练制度？

Answer 1

正如您在评论中提到的，您需要在 TimeDistributed 内包装一个 LSTM 层。这样，12 个变体中的每一个都将被单独处理。此外，由于每个特征向量都是单热编码的，我们添加一个带有 softmax 激活的密集层作为网络的最后一层:

from keras import models, layers

n_features = 20

model_input = layers.Input(shape=(12, None, n_features))
x = layers.TimeDistributed(layers.LSTM(64, return_sequences=True))(model_input)
model_output = layers.Dense(n_features, activation='softmax')(x)

model = models.Model([model_input], [model_output])
model.compile(loss='categorical_crossentropy', optimizer='rmsprop')
model.summary()

以下是模型摘要:

Layer (type)                 Output Shape              Param #   
=================================================================
input_1 (InputLayer)         (None, 12, None, 20)      0         
_________________________________________________________________
time_distributed_1 (TimeDist (None, 12, None, 64)      21760     
_________________________________________________________________
dense_1 (Dense)              (None, 12, None, 20)      1300      
=================================================================
Total params: 23,060
Trainable params: 23,060
Non-trainable params: 0
_________________________________________________________________

请注意，此模型对于您的问题可能非常简单。您可能希望将更多 LSTM 层堆叠在一起，并根据您要解决的具体问题更改参数以获得更好的精度(最后您必须进行实验!)；但它可以让您大致了解模型在这种情况下的样子。虽然看起来有点无关紧要，但我建议您阅读Seq2Seq tutorial在 Keras 官方博客中获取更多这方面的想法。

顺便说一句，如果您使用的是 GPU，则可以使用 CuDNNLSTM层代替 LSTM；它在 GPU 上提供了更好的性能。