python - 预测另一个列表的对应列表时 y 数据应采用什么形状

Question

背景

有两个字符列表。一个列表包含钢琴音符，另一个列表包含弦乐音符。想法是训练模型根据钢琴音符预测弦乐音符。所以它生成钢琴弦乐旋律。为了使其更加流畅，不仅应该考虑当前的钢琴音符，还应该考虑以前的钢琴音符。

数据

我创建了包含 100 多首歌曲的数据集(并且仍在选择新歌曲)。目前钢琴和弦乐列表的总音符数为 48523。钢琴音符的词汇量为 447，弦乐音符的词汇量为 261

len(set(piano_notes)) #447
len(set(string_notes)) #261

所有笔记均采用单热编码，序列长度为 100。两种列表形状:

print(x.shape) #(48523, 100, 447)
print(y.shape) #(48523, 100, 261)

问题

我不清楚 y 数据应该采用什么形状？网络看起来像这样:

def create_network(x, n_vocab_string_notes):
""" create the structure of the neural network """
model = Sequential()

model.add(LSTM(
    512,
    input_shape=(x.shape[1], x.shape[2]),
    return_sequences=True
))
model.add(Dropout(0.3))
model.add(LSTM(512, return_sequences=True))
model.add(Dropout(0.3))
model.add(LSTM(512))
model.add(Dense(256))
model.add(Dropout(0.3))
model.add(Dense(n_vocab_string_notes))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='rmsprop')

return model

像这样的训练:

def train(model, x, y):
""" train the neural network """
file_path = "weights-improved.hdf5"
checkpoint = ModelCheckpoint(
    file_path,
    monitor='loss',
    verbose=0,
    save_best_only=True,
    mode='min'
)
callbacks_list = [checkpoint]

model.fit(x, y, epochs=200, batch_size=64, callbacks=callbacks_list)

现在它返回错误，因为 y 形状不正确。它说得到了一个形状为 (48523, 100, 261) 的数组，而不是预期的 2 维。

目标

目标是根据钢琴音符预测弦乐音符。即对于钢琴音符，例如，长度为 100 个音符可以预测相同音符长度中对应的弦乐音符。所以从单个钢琴音符列表我可以预测弦乐音符列表。这意味着每一个钢琴旋律都可以添加相应的弦乐旋律。

Answer 1

您当前正在通过不在第二个 LSTM(100) 中返回序列来压缩时间维度。您还需要返回一个序列并处理上层。大致如下:

# second lstm
model.add(LSTM(512, return_sequences=True))
model.add(TimeDistributed(Dense(256)))
model.add(Dropout(0.3))
model.add(TimeDistributed(Dense(n_vocab_string_notes, activation='softmax')))

现在输出也将是序列。