machine-learning - 高成本会带来什么后果？

Question

我有一个典型的 NN 多分类器(10 个类)，带有一个隐藏层。训练和测试成本不会像添加层那样最小化，但是两个网络中分类器的准确性是相同的(91% 训练，88% 测试)。

测试数据与训练数据是分开的。

当训练停止时，成本值较高(0.5 训练，0.7 测试)会产生什么后果？

尽管第一个网络的成本很高，但为什么精度可能是相同的？

如果需要，很乐意提供更多信息。

Answer 1

好吧，您的问题隐含地需要回答许多其他问题，稍后您将看到:

What are the consequences of the cost values being high (0.5 training, 0.7 testing) when the training is ceased?

首先，决定某个成本值是否高是主观的，即没有真正的阈值，但是成本值是模型中过拟合/欠拟合的一个很好的指标。因此，最好按如下方式比较训练集和测试集之间的成本:

• 培训成本明显低于测试成本，并且培训成本相对较小:这可能表明存在过度拟合(又称高估或高方差)。
• 训练成本明显较高，并且测试成本值接近训练成本值:这可能表明存在欠拟合(又称低估或高偏差)。

现在请耐心等待，过度拟合/欠拟合也与神经网络中的隐藏层和隐藏单元有关! (见下文)。

<小时/>

其次，隐藏层的数量和隐藏单元的数量直接影响成本值，因为它会改变训练复杂度，如下所示(来自 Jeff Heaton 的 Java 神经网络简介(第二版)):

隐藏层数:

• 0 只能表示线性可分离函数或决策。

• 1 可以逼近任何包含连续映射的函数从一个有限空间到另一个有限空间。

• 2 可以表示任意精度的任意决策边界具有有理激活函数并且可以逼近任何平滑映射到任何精度。

另一方面，根据经验，在隐藏层中使用太少的神经元将导致欠拟合，而在隐藏层中使用太多的神经元可能会导致过度拟合:

• 隐藏神经元的数量应介于输入层的大小和输出层的大小之间。

• 隐藏神经元的数量应为输入层大小的 2/3 加上输出层的大小。

• 隐藏神经元的数量应小于输入层大小的两倍。

这就是训练集和测试集的成本值与神经网络中隐藏层大小之间的关系。

所以后果是过拟合/欠拟合。

<小时/>

Why might the accuracies be the same despite high costs in the first network?

这有点奇怪，因为成本和准确性之间存在反比关系，即成本越低，准确性越高。

但是，目前还不清楚你的意思是什么准确性，因为正如我所见，你正在测试训练集上的准确性，这是毫无意义的，但再看看你的结果，它们反射(reflect)了如上所述的成本和准确性之间的反比关系:

0.5 training cost -> 91% training accuracy
0.7 test cost -> 88% test accuracy 

<小时/>

如果您仍然有任何疑问，请提供您的神经网络的架构和数据集，以及准确度和成本的详细结果，并以良好的总结形式提供。