python - Keras 分类损失的意义

Question

我正在使用 keras 训练一个三层神经网络:

    model = models.Sequential()
    model.add(Conv2D(32, (3, 3), padding="same",
                     input_shape=input_shape, strides=2, kernel_regularizer=l2(reg)))

    model.add(BatchNormalization(axis=channels))
    model.add(Activation("relu"))
    model.add(Conv2D(64, (3, 3), padding="same",
                     input_shape=input_shape, strides=2, kernel_regularizer=l2(reg)))

    model.add(BatchNormalization(axis=channels))
    model.add(Activation("relu"))
    model.add(Conv2D(128, (3, 3), padding="same",
                     input_shape=input_shape, strides=2, kernel_regularizer=l2(reg)))

    model.add(BatchNormalization(axis=channels))
    model.add(Activation("relu"))
    model.add(layers.Flatten())
    model.add(layers.Dense(neurons, activation='relu', kernel_regularizer=l2(reg)))
    model.add(Dropout(0.50))
    model.add(Dense(2))
    model.add(Activation("softmax"))

我的数据有两个类，我使用稀疏分类交叉熵:

 model.compile(loss='sparse_categorical_crossentropy', optimizer=opt, metrics=['accuracy'])
 history = model.fit(x=X, y=y, batch_size=batch_size, epochs=epochs, validation_data=(X_val, y_val),
                            shuffle=True,
                            callbacks=callbacks,
                            verbose=1)

我的数据具有以下形状:

X: (232, 100, 150, 3)
y:(232，)

其中 X 是图像，y 是 1 或 0，因为使用稀疏损失函数

即使训练精度为 1，精度和验证的损失都非常高!我得到的损失值超过 20，我知道这是不合理的。

如果我将模型设置为尝试几个时期并输出标签和真实值的预测，并且我从中获得分类交叉熵，则我得到的值如预期的那样 <1，即使当我使用keras的函数进行计算(我更改为分类，因为稀疏给出了错误)

21/21 [==============================] - 7s 313ms/step - loss: 44.1764 - acc: 1.0000 - val_loss: 44.7084 - val_acc: 0.7857 

cce = tf.keras.losses.CategoricalCrossentropy()

    pred = model.predict(x=X_val, batch_size=len(X_val))
    loss = cce(true_categorical, pred)
    Categorical loss 0.6077293753623962

有没有办法确切地知道它是如何计算的以及为什么值很高？批量大小为 8。

Answer 1

Keras 打印的损失是总损失。正则化也是一种基于权重值添加到模型中的损失。

由于您有很多权重，因此您对总损失的贡献也很大。

这就是它很大的原因。如果删除正则化，您将看到最终损失等于分类交叉熵损失。