pytorch - pytorch 中 conv 的默认权重初始值设定项是什么？

Question

问题How to initialize weights in PyTorch?显示如何初始化 Pytorch 中的权重.但是，Conv 的默认权重初始值设定项是什么？和 Dense在 Pytorch ?什么分布Pytorch用？

Answer 1

每个pytorch层实现方法reset_parameters在层初始化结束时调用它来初始化权重。
你可以找到层的实现 here .

对于pytorch中称为linear的致密层例如，权重被统一初始化

stdv = 1. / math.sqrt(self.weight.size(1))
self.weight.data.uniform_(-stdv, stdv)

哪里 self.weight.size(1)是输入的数量。这样做是为了在训练开始时通过将其归一化为 1 来保持每层分布的方差相对相似。您可以阅读更详细的解释 here .

对于卷积层，初始化基本相同。您只需通过将 channel 数与内核大小相乘来计算输入数。