python - 连体模型不学习任何东西，总是将图像编码成零向量

Question

我正在尝试训练一个暹罗模型来预测两个图像中写入的单词是否相同。除了这个模型之外，还应该能够区分两个人的写作。该问题与签名验证问题类似。

我的基本网络如下所示:

def create_base_network_signet(input_shape):
    '''Base Siamese Network'''

    seq = Sequential()
    seq.add(Conv2D(96, kernel_size=(7,7), strides=2, input_shape= input_shape, activation='relu'))
    seq.add(BatchNormalization())
    seq.add(ZeroPadding2D(padding=(2, 2)))

    seq.add(Conv2D(96, kernel_size=(7,7), strides=1, activation='relu'))
    seq.add(BatchNormalization())
    seq.add(MaxPooling2D(pool_size=(3, 3), strides=2))
    seq.add(ZeroPadding2D(padding=(1, 1)))

    seq.add(Conv2D(128, kernel_size=(5,5), strides=1, activation='relu'))
    seq.add(Conv2D(128, kernel_size=(5,5), strides=1, activation='relu'))
    seq.add(MaxPooling2D(pool_size=(3, 3), strides=2))
    seq.add(Dropout(0.3))
    seq.add(ZeroPadding2D(padding=(1, 1)))

    seq.add(Conv2D(384, kernel_size=(3,3), strides=1, activation='relu'))
    seq.add(Conv2D(256, kernel_size=(3,3), strides=1, activation='relu'))
    seq.add(BatchNormalization())
    seq.add(MaxPooling2D(pool_size=(3,3), strides=2))
    seq.add(Dropout(0.3))
    seq.add(ZeroPadding2D(padding=(1,1)))

    seq.add(Conv2D(128, kernel_size=(2,2), strides=1, activation='relu'))
    seq.add(Dropout(0.3))

    seq.add(Flatten(name='flatten'))
    seq.add(Dense(1024, W_regularizer=l2(0.0005), activation='relu', init='glorot_uniform'))
    seq.add(Dropout(0.4))

    seq.add(Dense(128, W_regularizer=l2(0.0005), activation='relu', init='glorot_uniform')) # softmax changed to relu

    return seq

最终模型(对比损失):

base_network = create_base_network_signet(input_shape)
input_a = Input(shape=(input_shape), name="first")
input_b = Input(shape=(input_shape), name="second")

processed_a = base_network(input_a)
processed_b = base_network(input_b)

distance = Lambda(euclidean_distance, output_shape=eucl_dist_output_shape)([processed_a, processed_b])

model = Model(input=[input_a, input_b], output=distance)

除了这个模型之外，我还尝试过其他更简单的模型作为基础模型。我还尝试训练 VGG16 和 Inception 等模型作为基础模型。在训练所有这些模型时，我遇到了同样的问题。模型最终学习将输入图像编码为零向量。

我尝试过三元组损失和对比损失来训练模型。两者最终都会遇到同样的预测零的问题。对比损失函数取自 keras 教程。三重态损失定义为:

def triplet_loss(y_true, y_pred, alpha = 0.5):
    anchor, positive, negative = y_pred[0], y_pred[1], y_pred[2]
    pos_dist = tf.reduce_sum(tf.square(tf.subtract(anchor, positive)), axis=-1)
    neg_dist = tf.reduce_sum(tf.square(tf.subtract(anchor, negative)), axis=-1)
    basic_loss = tf.add(tf.subtract(pos_dist, neg_dist), alpha)
    loss = tf.reduce_sum(tf.maximum(basic_loss, 0.0))

    return loss

我还想提一下，当我使用 binary_crossentropy 损失函数训练模型时。模型开始学习编码。但是，在准确率达到 82% 左右之后，准确率就不再提高，但损失却不断减少。

这是在三元组损失和对比损失的情况下输出编码的样子:

我的训练数据如下所示:

Answer 1

我在用三元组损失训练的暹罗网络中遇到了同样的问题。对我来说，诀窍是从 loss = tf.reduce_sum(tf.maximum(basic_loss, 0.0)) 行中删除 tf.reduce_sum() 部分。我的三元组损失代码的相关片段如下。

# distance between the anchor and the positive
pos_dist = K.sum(K.square(anchor-positive),axis=1)

# distance between the anchor and the negative
neg_dist = K.sum(K.square(anchor-negative),axis=1)

# compute loss
basic_loss = pos_dist-neg_dist+alpha
loss = K.maximum(basic_loss,0.0)

最后，当您编译模型时，请执行以下操作。

model.compile(optimizer=Adam(), loss=triplet_loss)

我相信当triplet_loss作为loss给出时，keras在训练中会处理reduce_sum()部分。

试试这个，看看是否有帮助。