python - 神经网络偏差训练

Question

我创建了一个神经网络并尝试训练它，一切都很好，直到我添加了偏差。

根据我在训练时收集的信息，偏差会调整以向上或向下移动预期输出，并且权重倾向于帮助 YHat 模拟某些函数的值，因此对于两层网络:

output = tanh(tanh(X0W0 + b0)W1 + b1)

在实践中，我发现 W 将所有权重设置为接近 0，而 b 几乎与 Y 的训练输出相呼应。这本质上使输出完美地适合训练数据，但是当您为其提供不同类型的数据时它总是给出相同的输出。

这引起了相当大的困惑。我知道偏差的作用是向上或向下移动激活图，但在训练时，它似乎使神经网络的整个目的变得无关紧要。这是我的训练方法的代码:

def train(self, X, Y, loss, epoch=10000):
    for i in range(epoch):
        YHat = self.forward(X)
        loss.append(sum(Y - YHat))
        err = -(Y - YHat)
        for l in self.__layers[::-1]:
            werr = np.sum(np.dot(l.localWGrad, err.T), axis=1)
            werr.shape = (l.height, 1)
            l.adjustWeights(werr)
            err = np.sum(err, axis=1)
            err.shape = (X.shape[0], 1)
            l.adjustBiases(err)
            err = np.multiply(err, l.localXGrad)

以及调整权重和偏差的代码。 (注:epsilon是我的训练率，lambda是正则化率)

def adjustWeights(self, err):
    self.__weights = self.__weights - (err * self.__epsilon + self.__lambda * self.__weights)

def adjustBiases(self, err):
    a = np.sum(np.multiply(err, self.localPartialGrad), axis=1) * self.__epsilon
    a.shape = (err.shape[0], 1)
    self.__biases = self.__biases - a

这是我为这个网络所做的数学计算。

Z0 = X0W0 + b0
X1 = relu(Z0)

Z1 = X1W1 + b1
X2 = relu(Z1)

a = YHat-X2

#Note the second part is for regularisation
loss = ((1/2)*(a^2)) + (lambda*(1/2)*(sum(W1^2) + sum(W2^2))) 

现在是衍生品

dloss/dW1 = -(YHat-X2)*relu'(X1W1 + b1)X1
dloss/dW0 = -(YHat-X2)*relu'(X1W1 + b1)W1*relu'(X0W0 + b0)X0

dloss/db1 = -(YHat-X2)*relu'(X1W1 + b1)
dloss/db0 = -(YHat-X2)*relu'(X1W1 + b1)W1*relu'(X0W0 + b0)

我猜我做错了什么，但我不知道它是什么。我尝试根据以下输入训练该网络

X = np.array([[0.0], [1.0], [2.0], [3.0]])
Xnorm = X / np.amax(X)

Y = np.array([[0.0], [2.0], [4.0], [6.0]])
Ynorm = Y / np.amax(Y)

我得到这个作为输出:

post training:
shape:  (4, 1) 
 [[0.        ]
 [1.99799666]
 [3.99070622]
 [5.72358125]] 

Expected:
 [[0.]
 [2.]
 [4.]
 [6.]] 

这看起来很棒......直到您转发其他内容:

shape:  (4, 1) 
 [[2.]
 [3.]
 [4.]
 [5.]]

然后我得到:

shape:  (4, 1) 
 [[0.58289512]
 [2.59967085]
 [4.31654068]
 [5.74322541]]

Expected:
 [[4.]
 [6.]
 [8.]
 [10.]] 

我想“也许这就是我听说过的邪恶的‘过度拟合’”，并决定添加一些正则化，但即使这样也不能真正解决问题，从逻辑角度来看，为什么会这样呢？将偏差设置为等于输出并使权重为零更快、更优化...有人可以解释我的想法出了什么问题吗？

这是训练后的网络结构，(请注意，如果将输出乘以训练 Y 的最大值，您将得到预期的输出:)

===========================NeuralNetwork===========================

Layers:

===============Layer  0 :===============

 Weights: (1, 3)

[[0.05539559 0.05539442 0.05539159]]

Biases: (4, 1)

[[0.        ]
 [0.22897166]
 [0.56300199]
 [1.30167665]]


==============\Layer  0 :===============


===============Layer  1 :===============

 Weights: (3, 1)

[[0.29443245]
 [0.29442639]
 [0.29440642]]

Biases: (4, 1)

[[0.        ]
 [0.13199981]
 [0.32762199]
 [1.10023446]]


==============\Layer  1 :===============


==========================\NeuralNetwork===========================

图 y = 2x 在 x=0 处有 y 截距交叉，因此所有偏差'为 0 是有意义的，因为我们没有向上或向下移动图......对吗？

感谢您阅读本文!

编辑:

这是损失图:

编辑2:

我只是尝试使用单个权重和输出来做到这一点，这是我得到的输出结构:

===========================NeuralNetwork===========================

Layers:

===============Layer  0 :===============

 Weights: (1, 1)

[[0.47149317]]

Biases: (4, 1)

[[0.        ]
 [0.18813419]
 [0.48377987]
 [1.33644038]]


==============\Layer  0 :===============


==========================\NeuralNetwork===========================

对于这个输入:

shape:  (4, 1) 
 [[2.]
 [3.]
 [4.]
 [5.]]

我得到了这个输出:

shape:  (4, 1) 
 [[4.41954787]
 [5.53236625]
 [5.89599366]
 [5.99257962]]

什么时候应该是:

Expected:
 [[4.]
 [6.]
 [8.]
 [10.]] 

请注意，偏差问题仍然存在，您可能会认为在这种情况下权重将为 2，而偏差将为 0。

Answer 1

_{从OP的问题中移走答案}

事实证明我从未正确处理我的训练数据。输入向量:

[[0.0], [1.0], [2.0], [3.0]]

被归一化，我用这个向量除以输入中的最大值3，因此我得到

[[0.0], [0.3333], [0.6666], [1.0]]

对于输入 Y 训练向量，我有

[[0.0], [2.0], [4.0], [6.0]]

我愚蠢地决定对这个向量做同样的事情，但是Y的最大值为6:

[[0.0], [0.333], [0.666], [1.0]]

所以基本上我是在说“嘿网络，模仿我的输入”。这是我的第一个错误。第二个错误是由于对缩放的更多误解造成的。

虽然 1 是 0.333，并且 0.333*2 = 0.666，然后我将其乘以 y (6) 6*0.666 = 2 的最大值，但如果我用另一组数据再次尝试此操作，请说:

[[2.0], [3.0], [4.0], [5.0]]

2 将是 2/5 = 0.4 和 0.4*2 = 0.8，乘以 5 将是 2，但是在现实世界中，我们无法知道 5 是数据集的最大输出，因此我我想可能是 Y 训练的最大值，即 6，所以不是 2/5 = 0.4, 0.4*2 = 0.8 * 5，而是 2/5 = 0.4, 0.4*2 = 0.8 * 6 = 4.8 .

因此，我得到了一些奇怪的偏差和权重行为。因此，在基本上摆脱标准化之后，我可以自由调整超参数，现在作为基础训练数据的输出:

输入:

X:
 [[0.]
 [1.]
 [2.]
 [3.]] 

我得到这个输出:

shape:  (4, 1) 
 [[0.30926124]
 [2.1030826 ]
 [3.89690395]
 [5.6907253 ]]

以及额外的测试数据(未经训练):

shape:  (4, 1) 
 [[2.]
 [3.]
 [4.]
 [5.]]

我得到这个输出:

shape:  (4, 1) 
 [[3.89690395]
 [5.6907253 ]
 [7.48454666]
 [9.27836801]]

所以现在我很高兴。我还将我的激活更改为leaky relu，因为它应该更好地拟合线性方程(我认为)。我确信，通过更多的测试数据和更多的超参数调整，它将是一个完美的选择。感谢大家的帮助。试图解释我的问题确实让事情变得更正确。