python - 为什么我的简单前馈神经网络发散(pytorch)？

Question

我正在使用 pytorch 试验一个简单的 2 层神经网络，仅输入三个大小为 10 的输入，并以单个值作为输出。我对输入进行了标准化并降低了学习率。据我了解，两层全连接神经网络应该能够简单地适应这些数据

Features:

0.8138  1.2342  0.4419  0.8273  0.0728  2.4576  0.3800  0.0512  0.6872  0.5201
1.5666  1.3955  1.0436  0.1602  0.1688  0.2074  0.8810  0.9155  0.9641  1.3668
1.7091  0.9091  0.5058  0.6149  0.3669  0.1365  0.3442  0.9482  1.2550  1.6950
[torch.FloatTensor of size 3x10]


Targets
[124, 125, 122]
[torch.FloatTensor of size 3]

代码改编自一个简单示例，我使用 MSELoss 作为损失函数。几次迭代后，损失就会发散到无穷大:

features = torch.from_numpy(np.array(features))

x_data = Variable(torch.Tensor(features))
y_data = Variable(torch.Tensor(targets))

class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear = torch.nn.Linear(10,5)
        self.linear2 = torch.nn.Linear(5,1)

    def forward(self, x):
        l_out1 = self.linear(x)
        y_pred = self.linear2(l_out1)
        return y_pred

model = Model()

criterion = torch.nn.MSELoss(size_average = False)
optim = torch.optim.SGD(model.parameters(), lr = 0.001)

def main():
    for iteration in range(1000):
        y_pred = model(x_data)
        loss = criterion(y_pred, y_data)

        print(iteration, loss.data[0])
        optim.zero_grad()

        loss.backward()
        optim.step()

如有任何帮助，我们将不胜感激。谢谢

编辑:

事实上，这似乎只是因为学习率太高了。设置为 0.00001 可修复收敛问题，尽管收敛速度非常慢。

Answer 1

这是因为您没有在层之间使用非线性，并且您的网络仍然是线性的。

您可以使用 Relu 使其非线性。您可以像这样更改转发方法:

...
y_pred = torch.nn.functional.F.relu(self.linear2(l_out1))
...