nlp - 如何使用 Pytorch 计算语言模型的困惑度

Question

我正在使用 huggingface Transformers library-pytorch 为语言生成任务微调 GPT-2 模型，我需要计算微调模型的评估分数(困惑度)。但我不确定如何使用损失来完成。我想知道如何使用 sum_loss 或 mean loss 或任何其他建议来计算模型的困惑度。提供任何帮助。

编辑:

outputs = model(article_tens, labels=article_tens)

        loss, prediction_scores = outputs[:2]                        
        loss.backward()
        sum_loss = sum_loss + loss.detach().data

上面给出了我如何为微调任务计算每批数据的损失。

sum loss 1529.43408203125
loss 4.632936000823975
prediction_scores tensor([[[-11.2291,  -9.2614, -11.8575,  ..., -18.1927, -17.7286, -11.9215],
         [-67.2786, -63.5928, -70.7110,  ..., -75.3516, -73.8672, -67.6637],
         [-81.1397, -80.0295, -82.9357,  ..., -83.7913, -85.7201, -78.9877],
         ...,
         [-85.3213, -82.5135, -86.5459,  ..., -90.9160, -90.4393, -82.3141],
         [-44.2260, -43.1702, -49.2296,  ..., -58.9839, -55.2058, -42.3312],
         [-63.2842, -59.7334, -61.8444,  ..., -75.0798, -75.7507, -54.0160]]],
       device='cuda:0', grad_fn=<UnsafeViewBackward>)

以上给出的是仅针对批处理打印损失

Answer 1

如图Wikipedia - Perplexity of a probability model ，计算概率模型困惑度的公式为:

指数是交叉熵。虽然交叉熵传统上使用以 2 为底的对数 (b = 2)，但 PyTorch 等深度学习框架使用自然对数 (b = e)。

因此，要从交叉熵损失中得到困惑，你只需要应用 torch.exp损失。

perplexity = torch.exp(loss)

在这种情况下使用平均损失(指数的 1/N 部分)，如果您使用损失的总和而不是均值，那么困惑就会消失hand(非常大)，很容易超过最大 float ，导致无穷大。