performance - 比较两个神经网络(Matlab 中的 nntool)

Question

我是 Matlab 中神经网络工具箱 (nntool) 的新手。我使用相同的数据集训练了两个网络。其中一个网络包含比另一个网络更多的神经元。

现在我想知道:我如何比较这些网络？我怎么能说网络 A 比网络 B 好？

是否所有关于我的测试集中正确分类模式的数量？假设两个网络都显示了相同的测试集，网络 A 正确分类了更多模式。我可以说网络 A(通常)比网络 B 好吗？

还是应该根据我的性能函数也看性能？

是否有任何其他措施来比较使用不同参数训练的两个网络？

Answer 1

这主要取决于你关心的是什么。正如我所见，在大多数情况下，分析预测的标签或网络的准确性可以做出良好的选择决定，尤其是当您的网络具有浅层架构时，但是当您决定选择时，一些附带的问题可能会变得更加重要睁大眼睛看网。

• 例如，在训练阶段，即使向第一个隐藏层添加一个隐藏单元，也会向您的模型插入 d(输入层的维度)自由参数(权重)，这应该是估计的。另一方面，您的模型具有更多的自由参数，需要更多的训练数据才能得出可靠的模型。因此，只要您有足够的数据来补偿添加的免费参数，就可以接受更大的网络。根据经验，插入更多自由参数会增加过度拟合的可能性，这一直是深度神经网络中的一个重要问题，并且已经做出了许多努力来解决它。
• 在浅层网络中不太重要的另一种情况是额外隐藏节点强加的计算成本。既然我们都睁大了眼睛，提到这个问题多少有些必要。在您的网络变得更深的情况下，这种计算成本变得更具挑战性。当您使用反向传播更新参数时，训练阶段的计算成本也是一个重要问题。
• 您在深度神经网络中可能主要看到的另一件事是内存要求。随着层数或神经元数量的增加，自由参数的数量急剧增加，以至于在深度网络中您可能会看到数百万个参数。很明显，加载如此多的参数需要足够的硬件要求。

希望对您有所帮助。