machine-learning - 自动编码器中的绑定(bind)权重

Question

我一直在研究自动编码器，并想知道是否使用绑定(bind)权重。我打算将它们堆叠起来作为预训练步骤，然后使用它们的隐藏表示来提供神经网络。

使用未绑定(bind)的权重，它看起来像:

f(x)=σ₂(b₂+W₂*σ₁(b₁+W₁*x))

使用绑定(bind)权重，它看起来像:

f(x)=σ₂(b₂+W₁ ^T*σ₁(b₁+W₁*x))

从非常简单的角度来看，是否可以说，绑定(bind)权重可以确保编码器部分在给定架构下生成最佳表示，而如果权重是独立的，那么解码器可以有效地采用非最佳表示并仍然对其进行解码？

我问这个问题是因为如果解码器是“魔法”发生的地方，而我打算只使用编码器来驱动我的神经网络，那不会有问题吗？

Answer 1

具有绑定(bind)权重的自动编码器具有一些重要的优点:

1. 更容易学习。
2. 在线性情况下，它相当于 PCA - 这可能会导致几何上更充分的编码。
3. 绑定(bind)权重是一种正则化。

但是当然 - 它们并不完美:当您的数据来自高度非线性流形时，它们可能不是最佳的。根据您的数据大小，我会尝试两种方法 - 使用绑定(bind)权重，如果可能的话则不使用。

更新:

您还问为什么来自具有严格权重的自动编码器的表示可能比没有权重的自动编码器更好。当然，这种表示方式并不总是更好，但如果重构误差是合理的，那么编码层中的不同单元表示的东西可能被视为垂直特征的生成器，这些特征解释了数据中的大部分方差(就像 PCA 一样)做)。这就是为什么这种表示在进一步的学习阶段可能非常有用。