machine-learning - 自动编码器隐藏层中的输入 x 最大化激活函数是什么？

Question

嗨，当我阅读斯坦福大学有关自动编码器的机器学习 Material 时，发现了一个很难自己证明的公式。 Link to Material

问题是:“什么输入图像 x 会导致 ai 被最大程度地激活？”

问题和上下文的屏幕截图:

非常感谢您的提前答复!

Answer 1

虽然可以使用 KLT 条件和拉格朗日乘子严格解决这个问题，但还有一种更直观的方法来计算结果。我假设 f(.) 是单调递增的 sigmoid 类型非线性(ReLU 也有效)。因此，在 (x1)^2+...+(x100)^2 <= 1 约束下求 w1x1+...+w100x100 + b 的最大值相当于求 f(w1x1+...+w100x100 的最大值+ b) 具有相同的约束。

请注意，g = w1x1+...+w100x100 + b 是 x 项的线性函数(将其命名为 g，以便稍后我们可以用它来引用)。因此，该函数域中任意点 (x1,...,x100) 的最大增量方向是相同的，这就是梯度。域中任意点的梯度就是 (w1,w2,...,w100)，这意味着如果我们朝 (w1,w2,...,w100) 的方向前进，与我们开始的位置无关，我们获得函数的最大增量。为了让事情变得更简单并让我们可视化，假设我们在 R^2 空间中并且函数是 w1x1 + w2x2 + b:

最优 x1 和 x2 被限制在圆 C:(x1)^2 + (x2)^2 =1 内或圆上。假设我们位于原点 (0.0)。如果我们沿着梯度(蓝色箭头)(w1，w2)的方向前进，我们将在蓝色箭头与圆相交处获得函数的最大值。该交点的坐标为 c*(w1,w2)，且为 c^2(w1^2 + w2^2) = 1，其中 c 是标量系数。 c 很容易求解为 c= 1/sqrt(w1^2 + w2^2)。然后在交点处我们有 x1=w1/sqrt(w1^2 + w2^2) 和 x2=w2/sqrt(w1^2 + w2^2)，这就是我们寻求的解决方案。这可以以同样的方式扩展到 100 维的情况。

您可能会问为什么我们从原点开始，而不是从圆中的任何其他点开始。请注意，红线垂直于梯度向量，并且函数沿该线恒定。任意绘制 (u1,u2) 线，保持其方向，并限制它与圆 C 相交。然后选择线上的任意点，使其位于圆内。在 (u1,u2) 行上，无论您在哪里，都从函数 g 的相同值开始。那么当你向(w1,w2)方向走时，圆内所走的最长路径总是经过原点，这意味着你将函数g增加最多的路径。