python - 如何在 Keras 中实现恒定神经元？

Question

我在 Python/Keras 中有以下神经网络:

input_img = Input(shape=(784,))

encoded = Dense(1000, activation='relu')(input_img)  # L1
encoded = Dense(500, activation='relu')(encoded)     # L2
encoded = Dense(250, activation='relu')(encoded)     # L3
encoded = Dense(2, activation='relu')(encoded)       # L4

decoded = Dense(20, activation='relu')(encoded)      # L5
decoded = Dense(400, activation='relu')(decoded)     # L6
decoded = Dense(100, activation='relu')(decoded)     # L7
decoded = Dense(10, activation='softmax')(decoded)   # L8

mymodel = Model(input_img, decoded)

我想做的是让第 4~7 层中的每一层都有一个神经元为常量 1(以实现偏置项)，即它没有输入，具有固定值 1，并且是完全连接到下一层。有没有简单的方法可以做到这一点？非常感谢!

Answer 1

您可以创建常量输入张量:

constant_values = np.ones(shape)
constant = Input(tensor=K.variable(constant_values))

话虽如此，您的用例(偏见)听起来您应该简单地使用 use_bias=True，这是默认设置，如@gionni 所述。