python - 由多个激活函数组成的神经网络

Question

我正在使用 sknn 包构建神经网络。为了优化我正在使用的数据集的神经网络参数，我使用了进化算法。由于该包允许我构建一个神经网络，其中每一层都有不同的激活函数，我想知道这是否是一个实际的选择，或者我是否应该只为每个网络使用一个激活函数？在神经网络中使用多个激活函数对神经网络有害、无害还是有益？

另外，我应该拥有的每层神经元的最大数量是多少，以及我应该拥有的每个网络的最大层数是多少？

Answer 1

神经网络只是一个(大)数学函数。您甚至可以对同一层中的不同神经元使用不同的激活函数。不同的激活函数允许不同的非线性，这可能更适合解决特定的函数。使用 sigmoid 而不是 tanh 只会产生微小的差异。更重要的是激活有一个很好的导数。通常使用 tanh 和 sigmoid 的原因是，对于接近 0 的值，它们的行为类似于线性函数，而对于大的绝对值，它们的行为更像符号函数((-1 或 0)或 1)，并且它们具有很好的导数。一个相对较新的引入是 ReLU (max(x,0))，它有一个非常简单的导数(x=0 除外)，是非线性的，但重要的是计算速度很快，非常适合训练量大的深度网络次。

归根结底，对于全局性能而言，这方面的选择并不是很重要，非线性和上限范围很重要。但是，要挤出最后一个百分点，此选择很重要，但主要取决于您的具体数据。这种选择就像隐藏层的数量和这些层内的神经元数量一样必须通过交叉验证找到，尽管您可以调整您的遗传算子以包括这些。