python - 在 Tensorflow 中使用 leaky relu

Question

如何将 G_h1 = tf.nn.relu(tf.matmul(z, G_W1) + G_b1) 更改为 leaky relu？我尝试使用 max(value, 0,01*value) 遍历张量，但我得到 TypeError: Using a tf.Tensor as a Python bool is not allowed.

我也试图在 Tensorflow github 上找到关于 relu 的源代码，以便我可以将其修改为 leaky relu 但我找不到..

Answer 1

你可以基于tf.relu写一个，像这样:

def lrelu(x, alpha):
  return tf.nn.relu(x) - alpha * tf.nn.relu(-x)

编辑

Tensorflow 1.4 现在有一个原生的 tf.nn.leaky_relu .