python - 我如何使用 "leaky_relu"作为 Tensorflow "tf.layers.dense"中的激活？

Question

使用 Tensorflow 1.5，我正在尝试添加 leaky_relu激活密集层的输出，同时我能够更改 alpha的 leaky_relu (检查 here )。我知道我可以这样做:

output = tf.layers.dense(input, n_units)
output = tf.nn.leaky_relu(output, alpha=0.01)

我想知道是否有一种方法可以像我们为 relu 所做的那样将其写在一行中:

ouput = tf.layers.dense(input, n_units, activation=tf.nn.relu)

我尝试了以下但出现错误:

output = tf.layers.dense(input, n_units, activation=tf.nn.leaky_relu(alpha=0.01))
TypeError: leaky_relu() missing 1 required positional argument: 'features'

有办法吗？

Answer 1

如果您真的坚持使用单行代码，您可以使用 functools 模块中的 partial() 方法，如下所示:

import tensorflow as tf
from functools import partial

output = tf.layers.dense(input, n_units, activation=partial(tf.nn.leaky_relu, alpha=0.01))

需要注意的是，partial() 并不适用于所有操作，您可能需要使用来自同一模块的 partialmethod() 试试运气。

希望这对您有所帮助。