tensorflow - Transformer 培训如何实现教师强制？

Question

在 Tensorflow 教程的这一部分 here ，他们提到他们正在用教师强制进行训练。据我所知，教师强制涉及将目标输出输入到模型中，以便模型更快地收敛。所以我很好奇这里是如何完成的？真正的目标是tar_real，据我所知，它仅用于计算损失和准确性。我很好奇这段代码是如何实现教师强制的？

提前致谢。

Answer 1

每个 train_step 都会从训练循环中的数据集中获取 inp 和 tar 对象。确实使用了教师强制，因为数据集中的正确示例始终用作训练期间的输入(而不是先前训练步骤的“错误”输出):

1. tar 分为 tar_inp、tar_real(偏移一个字符)
2. inp，tar_inp 用作模型的输入
3. model 生成一个输出，与 tar_real 进行比较以计算损失
4. 模型输出被丢弃(不再使用)
5. 重复循环

Teacher forcing is a procedure ... in which during training the model receives the ground truth output y(t) as input at time t+1.Page 372, Deep Learning, 2016.

来源:https://github.com/tensorflow/tensorflow/issues/30852#issuecomment-513528114