deep-learning - 如何在 TensorFlow 中设置权重成本强度？

Question

我正在尝试在我的深度学习项目中使用 TensorFlow。

当我使用 Momentum Gradient Descent 时，权重成本强度是如何设置的？
(这个 formula 中的λ。)

Answer 1

权重成本/衰减的术语不是 TensorFlow 中优化器的一部分。

然而，通过在权重的 L2 损失的代价函数中添加额外的惩罚，很容易包含:

C = <your initial cost function>
l2_loss = tf.add_n([tf.nn.l2_loss(v) for v in tf.trainable_variables()])
C = C + lambda * l2_loss

tf.nn.l2_loss(v) link就是 0.5 * tf.reduce_sum(v * v)并且各个权重的梯度将等于 lambda * w ，这应该等同于您的链接方程。