machine-learning - PyTorch 种子会影响 dropout 层吗？

Question

我想到了为我的神经网络播种以获得可重现结果的想法，并且想知道 pytorch 播种是否会影响 dropout 层以及为我的训练/测试播种的正确方法是什么？

我正在阅读文档 here ，想知道仅仅放置这些线是否就足够了？

torch.manual_seed(1)
torch.cuda.manual_seed(1)

Answer 1

您可以通过几行代码轻松回答您的问题:

import torch
from torch import nn

dropout = nn.Dropout(0.5)
torch.manual_seed(9999)
a = dropout(torch.ones(1000))
torch.manual_seed(9999)
b = dropout(torch.ones(1000))
print(sum(abs(a - b)))
# > tensor(0.)

是的，使用manual_seed就足够了。