python - 在keras中使用哪些合并层？

Question

Keras 有许多不同的合并输入的方法，例如 Add()、Subtract()、Multiply()、concatenate( ) 等...

它们是否都具有相同的效果，或者是否存在一种更可取的情况？

Answer 1

这实际上取决于您要实现的目标，但让我们简单地看一下不同的合并层以及它们通常用于什么:

• add 加法是使用 relu 激活函数的网络的常见合并操作，因为总和也将为正并且可以编码 OR 操作。例如，您想要使用深度网络确定此答案的任何评论是否是正面的，然后您可以添加所有编码表示。
• subtract 减法与平方相结合，因此 (x-y)^2 用于相等关系，接近 是另一回事。这些在注意力计算中弹出，图像中的这个区域是否包含我正在寻找的特征可能是一个减法。
• 乘法 类似于减法，如果你有来自 tanh 的特征，那么你可以将它们相乘以找到相似的特征。如果两者都是正数或负数，则乘法将为正负数，否则，网络会很好地使用此信息。
• average 通常用于连接而不丢失信息，但如果问题在数学上有意义，让每个先前的计算分支具有相同的权重，那么您可以平均。例如，您可能想要了解一段的整体情绪，并且不希望任何单个否定句影响中性段落。
• ma​​ximum 在 MaxPooling 等池化操作中弹出并允许您在维度上实现一些不变性。在图像中，将猫分类为猫的位置并不重要，同样，如果您只想检测异常，则异常发生的位置也无关紧要。
• concatenate 是最常见的，因为它让上游网络决定如何使用给定的信息。它用于收集信息并经常输出其他合并层。因此，您可以计算乘法并与其输入合并 [x, y, x*y]。默认情况下，它用于 Bidirectional让信息来自两个方向。