neural-network - 端到端训练 CNN-LSTM？

Question

已经有许多论文(特别是图像字幕)联合使用 CNN 和 LSTM 架构进行预测和生成任务。然而，它们似乎都独立于 LSTM 来训练 CNN。我正在浏览 Torch 和 TensorFlow(使用 Keras)，但找不到不能进行端到端培训的原因(至少从架构设计的角度来看)，但是有似乎没有这种模型的任何文档。

那么，可以做到吗？ Torch 或 TensorFlow(甚至 Theanos 或 Caffe)是否支持联合训练端到端的 CNN-LSTM 神经网络？如果是这样，是否就像将 CNN 的输出链接到 LSTM 的输入并运行 SGD 一样简单？或者它有更多的复杂性？

Answer 1

CNN-LSTM model can be trained end-end using tensorflow

假设您有一个 CNN 模型 M输入 X和 LSTM 模型 LSTM .这可以进行端到端的训练

# here CNN is used to extract meaning features from the input data
features = M(X)
# CNN features are used as input to LSTM
y = LSTM(features)
cost = cost_function(ground_truths, y)

在 imdb 上展示用于句子分类的 CNN-LSTM 模型的端到端训练的综合示例数据集位于 CNN_LSTM-end-end .