machine-learning - 梯度方法的正交正则化惩罚？

Question

假设我有一个参数矩阵 W，我正在使用梯度下降法学习它。

如果我有理由相信 W 的列应该彼此大致正交，那么我是否可以对该矩阵施加特定的正则化？

在我看来是这样的:

W^TW -diag(W^TW)

会惩罚 W^TW 的非对角元素，这些元素大致对应于 W 的正交列。

但是，据我所知，这并不完全可以区分。还有其他我应该注意的方法吗？

Answer 1

sum([W'W - diag(W'W)]^2) 的每个部分(您需要 ^2 或 abs 来删除符号，否则您可能会得到像 [[1 -100] [100 1 ]] 成本为 0，即使它不是正交的)是可微分的，你为什么会不这么认为？只涉及加法和乘法，没有其他。

更大的问题是计算复杂度，因为给定 W 为 d x n，前向和后向传递都将具有 O(n^2d) 复杂度。因此，如果这是一个具有 1000 个单元的神经网络层，则这种惩罚需要 1,000,000,000 次计算(而不是正常反向传播中的 1,000,000 次)。一般来说，应该避免权重空间中的成对惩罚。您可以通过以随机方式进行此类正则化来减少这种情况(类似于 dropout - 只需随机采样 K 个单位并仅对它们应用 penlty)。