python - 加权平均值 : Custom layer weights don't change in TensorFlow 2. 2.0

Question

我正在尝试在 TensorFlow 中实现两个张量之间的加权平均，其中权重可以自动学习。遵循有关如何为 keras 模型设计自定义层的建议 here ，我的尝试如下:

class WeightedAverage(tf.keras.layers.Layer):
    def __init__(self):
        super(WeightedAverage, self).__init__()

        init_value = tf.keras.initializers.Constant(value=0.5)

        self.w = self.add_weight(name="weight",
                                 initializer=init_value,
                                 trainable=True)

    def call(self, inputs):
        return tf.keras.layers.average([inputs[0] * self.w,
                                        inputs[1] * (1 - self.w)])

现在的问题是，在训练模型、保存并再次加载之后，w 的值仍然是 0.5。参数是否有可能没有收到任何梯度更新？打印我的模型的可训练变量时，会列出参数，因此在调用 model.fit 时应包括在内。

Answer 1

这里有可能在两个张量之间实现加权平均，其中权重可以自动学习。我还介绍了权重总和必须为 1 的约束。要实现这一点，我们必须简单地对权重应用 softmax。在下面的虚拟示例中，我将两个完全连接的分支的输出与此方法结合使用，但您可以在其他所有场景中对其进行管理

这里是自定义图层:

class WeightedAverage(Layer):
    
    def __init__(self):
        super(WeightedAverage, self).__init__()
        
    def build(self, input_shape):
        
        self.W = self.add_weight(
                    shape=(1,1,len(input_shape)),
                    initializer='uniform',
                    dtype=tf.float32,
                    trainable=True)
        
    def call(self, inputs):

        # inputs is a list of tensor of shape [(n_batch, n_feat), ..., (n_batch, n_feat)]
        # expand last dim of each input passed [(n_batch, n_feat, 1), ..., (n_batch, n_feat, 1)]
        inputs = [tf.expand_dims(i, -1) for i in inputs]
        inputs = Concatenate(axis=-1)(inputs) # (n_batch, n_feat, n_inputs)
        weights = tf.nn.softmax(self.W, axis=-1) # (1,1,n_inputs)
        # weights sum up to one on last dim

        return tf.reduce_sum(weights*inputs, axis=-1) # (n_batch, n_feat) 

这里是回归问题的完整示例:

inp1 = Input((100,))
inp2 = Input((100,))
x1 = Dense(32, activation='relu')(inp1)
x2 = Dense(32, activation='relu')(inp2)
W_Avg = WeightedAverage()([x1,x2])
out = Dense(1)(W_Avg)

m = Model([inp1,inp2], out)
m.compile('adam','mse')

n_sample = 1000
X1 = np.random.uniform(0,1, (n_sample,100))
X2 = np.random.uniform(0,1, (n_sample,100))
y = np.random.uniform(0,1, (n_sample,1))

m.fit([X1,X2], y, epochs=10)

最后，您还可以通过这种方式可视化权重的值:

tf.nn.softmax(m.get_weights()[-3]).numpy()