python - return_sequence=True 的 LSTM 之后的 Keras Dense 层

Question

我正在尝试重新实现这篇论文1作者在 Keras 中使用 PyTorch 2 。这是网络架构: 到目前为止我所做的是:

number_of_output_classes = 1
hidden_size = 100
direc = 2
lstm_layer=Bidirectional(LSTM(hidden_size, dropout=0.2, return_sequences=True))(combined) #shape after this step (None, 200) 
#weighted sum and attention should be here
attention = Dense(hidden_size*direc, activation='linear')(lstm_layer) #failed trial
drop_out_layer = Dropout(0.2)(attention)    
output_layer=Dense(1,activation='sigmoid')(drop_out_layer) #shape after this step (None, 1)

我想在 LSTM 之后包含注意力层和最终 FF 层，但由于维度和 return_sequence= True 选项，我遇到了错误。

Answer 1

这是一个序列分类任务。序列分类是多对一的映射，其中顺序输入被标记为单个类别。在这种情况下，您的输入的形状应为(batch_size，time_steps，channels)，输出的形状应为(batch_size，channels)。如果 LSTM 类的 return_sequences 参数为 True，则输出的形状将为(batch_size、time_steps、channels)。将其输入到密集层和丢失层不会减少维度数。要将维度数减少到 2，您必须将最后 LSTM 层的 return_sequences 参数设置为 False。对于你的情况

lstm_layer=Bidirectional(LSTM(hidden_size, dropout=0.2, return_sequences=False))(combined)