machine-learning - 如何确定总隐藏层节点和输出节点？

Question

在这种情况下，我想识别字母，则从纸上扫描该字母。该过程的结果是我有5 x 5二进制矩阵。因此，它将使用25个输入节点。但是我不明白如何确定这种情况下的总隐藏层节点和输出节点。我想为这种情况构建多层渗透电子加速器的体系结构。谢谢你的帮助！

Answer 1

每个NN具有三种类型的层：输入层，隐藏层和输出层。

因此，创建NN体系结构意味着得出每种类型的层数以及这些层中每层的节点数的值。

输入层

很简单-每个NN都有其中之一-我所知道的没有例外。

关于组成该层的神经元数量，一旦您知道训练数据的形状，就可以完全唯一地确定此参数。具体来说，构成该层的神经元数量等于数据中的要素（列）数量。某些NN配置为偏置项增加了一个附加节点。

输出层

像输入层一样，每个NN都只有一个输出层。确定其大小（神经元数量）很简单；它完全取决于所选的模型配置。

您的NN是在机器模式还是回归模式下运行（使用在统计中也使用过但为其赋予不同含义的术语的ML约定非常令人困惑）。机器模式：返回类别标签（例如“高级帐户” /“基本帐户”）。回归模式会返回一个值（例如价格）。

如果NN是回归器，则输出层具有单个节点。

如果NN是分类器，则除非使用softmax，否则它也只有一个节点
在这种情况下，输出层在模型中每个类标签具有一个节点。

隐藏的层

因此，这几个规则为输入和输出层设置了层数和大小（神经元/层）。留下隐藏的层。

多少个隐藏层？好吧，如果您的数据是线性可分离的（开始编码NN时您通常会知道），那么您根本不需要任何隐藏层。当然，您也不需要NN来解析您的数据，但仍然可以完成工作。

除此之外，您可能已经知道，关于NN中隐藏层配置的问题还有很多评论（有关该评论的NN FAQ，请参见疯狂透彻的excellent summary）。在本主题中达成共识的一个问题是，添加其他隐藏层的性能有所不同：使用第二个（或第三个等）隐藏层提高性能的情况非常小。一个隐藏层足以解决大多数问题。

那么隐藏层的大小呢？有多少神经元呢？有一些根据经验得出的经验法则，其中最常使用的是“隐藏层的最佳大小通常在输入层的大小和输出层的大小之间”。 Introduction to Neural Networks in Java的作者Jeff Heaton提供了更多内容。

总而言之，对于大多数问题，只需使用以下两个规则来设置隐藏层配置，就可能获得不错的性能（即使没有第二个优化步骤）：（i）隐藏层的数量等于一； （ii）该层中神经元的数量是输入和输出层中神经元的平均值。

网络配置优化

修剪描述了一组技术（通过节点而不是层）调整网络大小，以提高计算性能，有时还提高分辨率性能。这些技术的要点是在训练期间通过识别那些节点，如果将这些节点从网络中移除，则不会显着影响网络性能（即，数据的分辨率），从而从网络中移除节点。 （即使不使用正式的修剪技术，也可以通过训练后查看权重矩阵来粗略了解哪些节点不重要;权重非常接近零-通常是那些权重两端的节点显然，如果在训练过程中使用了修剪算法，则应从网络配置开始，该网络配置很可能具有多余（即“可修剪”）节点，换句话说，在确定网络体系结构时会出错如果您添加修剪步骤，则在更多神经元方面。

换句话说，通过在训练过程中对网络应用修剪算法，可以实现最佳的网络配置。我不知道您是否可以在单个“前期”操作（例如基于遗传算法的算法）中做到这一点，尽管我现在确实知道这种两步优化更为普遍。

式

监督学习网络的另一条经验法则是，不会导致过度拟合的隐藏神经元数量的上限是：



Others recommend将alpha设置为5到10之间的值，但是我发现2的值通常可以在不过度拟合的情况下工作。如此excellent NN Design text所述，您希望将模型中的自由参数的数量（其degree或非零权重的数量）限制为数据自由度的一小部分。数据中的自由度是样本数*每个样本或Ns∗(Ni+No)中的自由度（维度）（假设它们都是独立的）。因此，alpha是一种指示您希望模型的通用性或防止过度拟合的方法。

对于自动化程序，您将从2的alpha开始（训练数据的自由度是模型的两倍），并且如果训练数据的误差显着小于交叉验证的误差，则工作至10。数据集。

参考文献


Advameg（2016）Comp.Ai.Neural-nets常见问题解答，第7部分的第1部分：简介。可用位置：http://www.faqs.org/faqs/ai-faq/neural-nets/part1/preamble.html
如何选择前馈神经网络中隐藏层和节点的数量？ （2016a）在以下位置可用：https://stats.stackexchange.com/a/136542
如何选择前馈神经网络中隐藏层和节点的数量？ （2016b）在以下位置可用：https://stats.stackexchange.com/a/1097
Legal，H.R.-和Info，C.（2016）Java神经网络简介，第二版。可用位置：http://www.heatonresearch.com/book/programming-neural-networks-java-2.html