pytorch - 在训练期间更改 Dropout 值

Question

如何在训练期间更改 Dropout？例如

Dropout= [0.1, 0.2, 0.3]

我尝试将其作为列表传递，但我无法使其工作。

Answer 1

要在训练过程中改变 dropout 概率，您应该使用 functional 版本，即 torch.nn.functional.dropout。

dropout 函数式版本的输入参数是

• 输入张量
• 辍学概率(您可以更改)
• 一个 bool 值，指示它是否处于训练模式(您可以使用 self.training)
• 和一个标志，指示您是否希望就地执行操作。

因此，您可以根据需要在 forward 方法中更改丢失的概率。

例如，你可以在你的forward方法中做:

def forward(self, x):

    ...

    # apply some layers to the input
    h = self.my_layers(x)

    # set the value of p
    p = self.get_value_for_p()

    # apply dropout with new p
    h = torch.nn.functional.dropout(h, p, self.training)

    ...

更多关于 dropout 的功能版本，在这里:https://pytorch.org/docs/stable/nn.functional.html#dropout-functions