machine-learning - 为什么使用具有单个隐藏节点的 IRIS 数据集可以获得良好的准确性？

Question

我有一个带有反向传播训练器的神经网络的最小示例，在 IRIS 数据集上对其进行测试。我从 7 个隐藏节点开始，效果很好。

我将隐藏层中的节点数降低到 1(预计它会失败)，但惊讶地发现准确率上升了。

我在 azure ml 中设置了实验，只是为了验证这不是我的代码。同样的情况，单个隐藏节点的准确率为 98.3333%。

谁能向我解释一下这里发生了什么？

Answer 1

首先，众所周知，各种分类模型在 Iris 上都能产生令人难以置信的良好结果(Iris 是非常可预测的)；请参阅here ，例如。

其次，我们可以观察到 Iris 数据集中的特征相对较少。此外，如果你看看 dataset description您可以看到其中两个特征与类成绩高度相关。

这些相关值是线性的、单特征相关性，这表明人们很可能应用线性模型并观察到良好的结果。神经网络是高度非线性的；随着隐藏节点和隐藏层数量的增加，它们变得越来越复杂，捕获越来越多的非线性特征组合。

考虑到这些事实，(a)一开始就没有什么特征，(b)与类别有很高的线性相关性，所有这些都表明一个不太复杂的线性函数是合适的预测模型 - - 通过使用单个隐藏节点，您几乎正在使用线性模型。

还可以注意到，在没有任何隐藏层(即只有输入和输出节点)的情况下，当使用逻辑传递函数时，这相当于逻辑回归。