machine-learning - 最大输出神经元 : are the weights in the maxout function referring to 2 unique sets of weights?

Question

我不明白 maxout 是如何工作的，我怀疑这是由于我对线性代数乘法的可视化造成的。基本上，我的印象是 maxout 函数有两组权重，均经过单独训练，然后只选择一组。但我怀疑这可能是错误的，因为我没有看到一种方法可以在网络的一次前馈运行中同时训练两个不同的权重。

此外，如果函数中的两个权重 w1 和 w2 不是指两个唯一的权重集，那么是否可能有两个以上的参数输入到 maxout 函数，并且仅选择最大值？

这是我读到的 maxout 函数:

max((w1.T.dot(X) + b1), (w2.T.dot(X) + b2))

我可以用心理表征来更好地想象这一点吗？

Answer 1

我知道这已经晚了，但我还是会回答。 Here您可以观看 maxout Networks 作者 Ian Goodfellow 和 here 的视频。是视频中使用的幻灯片的 URL。

下面是Maxout Networks的定义截图:

Click Here

事实证明你是完全正确的。对于每个神经元，您创建两次权重和两次偏差。如果您想要更多，那么您可以为每个神经元创建 n 个权重和 n 个偏差，然后选择最大值，并对层中的所有神经元执行相同的操作。