keras - pytorch 的交叉熵损失与 keras 的 "categorical_crossentropy"不同吗？

Question

我正在尝试在 keras 中模拟 pytorch 神经网络。

我确信我的 keras 版本的神经网络与 pytorch 中的非常接近，但在训练期间，我看到 pytorch 网络的损失值远低于 keras 网络的损失值。我想知道这是不是因为我没有正确复制keras中的pytorch网络或者两个框架中的损失计算不同。

Pytorch 损失定义:

loss_function = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=args.lr, momentum=0.9, weight_decay=5e-4)

Keras 损失定义:

sgd = optimizers.SGD(lr=.1, momentum=0.9, nesterov=True)
resnet.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['categorical_accuracy'])

请注意，keras 网络中的所有层都已使用 L2 正则化 kernel_regularizer=regularizers.l2(5e-4) 实现了，我也用过 he_uniform根据 source code，我认为初始化是 pytorch 中的默认设置.

两个网络的批大小相同: 128 .

在 pytorch 版本中，我得到了大约 4.1209 的损失值减少到 0.5 左右.在 keras 中，它从 30 开始，然后下降到 2.5 .

Answer 1

PyTorch CrossEntropyLoss接受每个类别的非标准化分数，即不是概率( source )。 Keras categorical_crossentropy默认使用 from_logits=False这意味着它假定 y_pred包含概率(不是原始分数)( source )。
在 PyTorch 中，如果您使用 CrossEntropyLoss ，你不应该在最后使用 softmax/sigmoid 层。在 keras 中，您可以使用或不使用它，但设置 from_logits因此。