tensorflow - TensorFlow 如何处理 L1 正则化的差异？

Question

似乎您可以通过 tf.abs() 声明一个成本函数，然后将其传递给自动梯度生成(请参阅 https://github.com/nfmcclure/tensorflow_cookbook/blob/master/03_Linear_Regression/04_Loss_Functions_in_Linear_Regressions/04_lin_reg_l1_vs_l2.py )

.但我们知道 abs() 是不可微的。

这是如何在 Tensorflow 中完成的？它只是在 [-1,1] 中随机抛出一个数字吗？

如果有人可以请指出我的实现，那将是很棒的。谢谢!

(我在 git 中寻找 tensorflow.py，但它甚至不存在)

Answer 1

f(x) = abs(x)处处可微，除了在 x=0 .它的导数等于:



所以唯一的问题是 tensorflow 如何在 x=0 处实现导数.您可以手动检查:

import tensorflow as tf
x = tf.Variable(0.0)
y = tf.abs(x)
grad = tf.gradients(y, [x])[0]
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(grad))

它打印 0.0 .