python - 如何在 Tensorflow 的神经网络的一层实现不同的激活函数？

Question

以下行创建了一个大小为 3 的层，每个神经元都具有 sigmoid 激活函数:

out = layers.dense(inputs=inp, units=3, activation=sigmoid)

我想做的是这样的:

out = layers.dense(inputs=inp, units=3, activation=[sigmoid sigmoid relu])

本质上，前两个神经元包含 sigmoid 激活函数，第三个神经元包含 relu 激活函数。

我的问题是:我该如何实现？

如果有人能回答这个问题，我将不胜感激。

Answer 1

最简单和最干净的方法是只创建 2 个输出层:

sigmoid_out = layers.dense(inputs=inp, units=2, activation=tf.nn.sigmoid)
relu_out = layers.dense(inputs=inp, units=1, activation=tf.nn.relu)

然后，如果需要，您可以连接两个层:

out = tf.concat([sigmoid_out, relu_out], axis=1)