machine-learning - 如何确定具有非线性训练集的神经网络的假设函数？

Question

我们有 4 个数字输入，它们彼此非线性相关。我们的目标是使用反向传播模型来预测输出。我们想象的场景如下，

根据我们的知识(我们没有透彻的理解)，我们正在考虑计算任何神经元的输出(Y)的方程是，

        Y  =  w1 * X1  + w2 * X2 + w3 * X3 + w4  * X4 ?

哪里，
Y 为输出 X 是输入(X1,X2,X3,X4) w是重量

因此，在输出层中，如果输出(Y)与预期不同，我们将使用误差校正来修改权重。

非线性数据集是否需要有特定的输出函数(假设函数)？或者可以使用上面的函数吗？

Answer 1

这是一种很好的数学思考方式，但我不同意你上面列出的等式。

对于隐藏神经元 1 (HN1)，其输入 (inputHN1) 为w11*X1 + w21*X2 + w31*X3 + w41*X4;输出是f(inputHN1)。请注意，f() 可以是非线性函数(也可以是线性函数)。

对于 HN2，我们有 f(inputHN2)

Y = beta1*f(inputHN1) + beta2*f(inputHN2)

MLP 的权重(w 和 beta)将通过反向传播进行训练。

您会发现，如果 f() 是非线性的，则非常适合对非线性函数进行建模。

当然，如果f()是线性的，它只能给出线性函数的良好近似。

好吧，如果您对要建模的内容有先验知识，那么假设总是有帮助的。例如，您可以使用第二阶，例如 X1X2、X1^2 等，而不是一阶。