python-3.x - 教师力量训练 PyTorch

Question

我正在尝试进行 seq2seq 预测。为此，我有一个 LSTM 层，然后是一个完全连接的层。我在培训阶段采用教师培训，并想在测试阶段跳过这个(我在这里可能错了)。我还没有找到直接的方法，所以我采用了如下所示的方法。

def forward(self, inputs, future=0, teacher_force_ratio=0.2, target=None):
    outputs = []
    for idx in range(future):
        rnn_out, _ = self.rnn(inputs)
        output = self.fc1(rnn_out)
        if self.teacher_training:
            new_input = output if np.random.random() >= teacher_force_ratio else target[idx]
        else:
            new_input = output
        inputs = new_input

我使用 bool 变量 teacher_training 来检查是否需要教师培训。这个对吗？如果是，是否有更好的方法来做到这一点？谢谢。

Answer 1

在 PyTorch 中，所有扩展 nn.Module 的类都有一个名为 training 的 kwarg bool 参数。因此，我们应该简单地使用 training 参数而不是 teacher_training。此参数会根据您的模型训练模式(model.train() 和 model.eval())自动设置。