python - Keras损失似乎是错误的——加权和是错误的

Question

我使用带有 tensorflow 后端的 Keras 来训练具有多个输出但只有一个损失的模型(输出层“部分”上的 MSE)。定义如下:

model = Model(inputs=[image, year], outputs=outputs) # outputs is a list of 8 output layers
model_parallel = keras.utils.multi_gpu_model(model, gpus=2, cpu_merge=True, cpu_relocation=False)
losses = {'parts': keras.losses.mean_squared_error}
loss_weights = {'parts': 1.}
model_parallel.compile(loss=losses,
                       loss_weights=loss_weights,
                       optimizer=keras.optimizers.RMSprop(lr=args.lr)
                       )
model_parallel.fit_generator(generator=generator_training,
                             epochs=args.epochs,
                             verbose=1
                             )

fit_generator 打印总损失和我的 parts_loss:

33/5730 [..............................] - ETA: 14:28:59 - loss: 117.6318 - parts_loss: 97.1686

为什么总损失(=所有损失的加权和)与parts_loss不同？

Answer 1

总损失与 parts_loss 不同，因为它包含正则化项。换句话说，loss 计算为 loss = parts_loss + k*R，其中 R 是正则化项(通常是 L1 或 L2 范数)模型的权重)和 k 一个超参数，用于控制正则化损失在总损失中的贡献。