machine-learning - 近端梯度下降的 l1_regularization_strength 和 l2_regularization_strength 的定义

Question

Tensor-flow 具有近端梯度下降优化器，可以称为:

loss = Y-w*x # example of a loss function. w-weights to be calculated. x - inputs.

opt=proximal_gradient_descent.ProximalGradientDescentOptimizer(learningrate,l1_regularization_strength, l2_regularization_strength)

opt_step= opt.minimize(loss)

由于我们知道近端梯度下降采用 l1-norm 和 l2-norm 作为正则化，所以我的问题是:我应该在损失中包含 l1/l2 范数的部分，还是应该使用类似的东西我的损失在上面吗？

此外，ProximalGradientDescentOptimizer 似乎是在 approximation_gradient_descent 下定义的，而 minimise 是在 optimizationr 下定义的。我不知道regularization_strength是否可以传递给优化器。

如果有人对这些问题有什么想法，请告诉我。谢谢!

Answer 1

正在使用 tensorflow 优化器，它将正则化作为优化器参数，不要在损失函数中包含正则化项。许多优化器都会对正则化进行特殊处理，如果您还在那里添加正则化器，您最终会重复计算或失去这种特殊情况的优势。