python - "Decoder"模型的 "Sequence-to-Sequence"应该输入什么？

Question

我正在开发一个用于文本生成的序列到序列模型 ( paper )。我没有在解码器端使用“教师强制”，即 t0 时解码器的输出被馈送到 t1 时解码器的输入。

现在，实际上，解码器(LSTM/GRU)的输出通过密集层传递，然后密集层生成单词的索引，该索引被视为解码器的输出。

但是，为了将输出馈送到下一层，我们应该将 h_t (即解码器的输出/解码器的隐藏状态)馈送到下一步，还是下一个单词的单词嵌入是正确的选择吗？

Answer 1

简短的答案是:可能两者都有，但隐藏状态 h_t 至关重要。

需要馈送隐藏状态 h_t 才能将整个句子(不仅仅是前一个单词)的信息从一个解码器层传递到下一个解码器层。

提供所选单词的嵌入并不是必需的，但这可能是一个好主意。这允许解码器以之前被迫做出的选择为条件。