neural-network - 我可以使用下一层的输出作为 Keras 当前层的输入吗？

Question

在文本生成任务中，我们通常使用模型的最后一个输出作为当前输入来生成下一个单词。更笼统地说，我想实现一个神经网络，将下一层的最终隐藏状态作为当前层的输入。就像下面这样(让我困惑的是解码器部分):



但是我已经阅读了 Keras 文档并没有找到任何实现它的功能。

我可以通过 Keras 实现这种结构吗？如何？

Answer 1

您显示的结构是自定义结构。因此，Keras 不提供任何类或包装器来直接构建此类结构。但是是 ，你可以在 Keras 中构建这种结构。

所以，看起来你需要反向 LSTM 模型。我不明白另一部分，它可能看起来像是将前一个句子嵌入作为 LSTM 单元的下一个时间步输入的输入。

我宁愿鼓励您首先使用 LSTM 进行简单的语言建模。然后您可以稍后调整架构以构建如图所示的架构。

例子:

Text generation with LSTM in Keras