machine-learning - 每个节点需要多少个突触？

Question

我想实现一个感知器网络，但有一个小问题。第一个实现将非常简单。只有三层:输入层、隐藏层和输出层。我的问题是，输入层和隐藏层之间的隐藏节点有多少个突触是最佳的？我认为如果每个节点都加入到每个输入节点，不太经济。

感谢您的评论。

Answer 1

在非常一般的设置中，您将给定层的每个节点插入到下一层的每个节点中。这称为“全连接层”。显然这不是唯一的选择，使用更先进的方法，您会发现更稀疏的连接组，例如感受野、卷积层等。对于简单的实验，最好从完全连接的层开始，因为其他连接策略通常假设以下内容:您的数据(例如输入的时空关系)，而完全连接层是不可知的通用方法。