machine-learning - 代替LBFGS，在稀疏自动编码器中使用梯度下降

Question

在 Andrew Ng 的讲义中，他们使用 LBFGS 并获得了一些隐藏的功能。我可以使用梯度下降来代替并产生相同的隐藏特征吗？其他参数都一样，只是改变优化算法。

因为当我使用LBFGS时，我的自动编码器可以产生与讲义中相同的隐藏特征，但是当我使用梯度下降时，隐藏层中的特征消失了，看起来完全是随机的。

具体来说，为了优化成本函数，我实现了1)成本函数，2)每个权重和偏差的梯度。并将它们放入scipy优化工具箱中以优化成本函数。而这个设置可以给我合理的隐藏功能。

但是当我改为梯度下降时。我试图让“权重 - 权重梯度”和“偏差 - 偏差梯度”。但最终的隐藏特征看起来完全是随机的。

有人能帮我知道原因吗？谢谢。

Answer 1

是的，您可以使用 SGD，事实上，它是实践中最流行的选择。 L-BFGS-B 不是训练神经网络的典型方法。但是:

• 你必须调整训练方法的超参数，你不能只使用与 LBFGS 相同的超参数，因为这是完全不同的方法(好吧，不完全，但它使用一阶优化而不是二阶)
• 您应该在 SGD 中包含动量，这是获得二阶近似值的极其简单的方法，并且众所周知(在仔细调整时)与实际二阶近似值一样好实践方法