nlp - 有没有办法使用 spacy 模型评估测试样本的损失

Question

我正在尝试使用 spacy 2.1.3 创建一个二元分类器，为了执行过度拟合测试，我想评估测试样本的损失。在他们的教程中，损失被用作参数并以某种方式更新:

https://github.com/explosion/spaCy/blob/master/examples/training/train_textcat.py#L90

我找不到任何关于如何在我的测试样本上对其进行评估的示例。理想情况下，我想制作如下所示的图:

https://machinelearningmastery.com/learning-curves-for-diagnosing-machine-learning-model-performance/

我尝试深入研究他们的代码，但没有发现任何有用的东西。有没有人试过制作类似的情节？

感谢您的帮助和评论:)

Answer 1

变量 losses 在训练循环中被设置，cf。 https://github.com/explosion/spaCy/blob/master/spacy/pipeline/pipes.pyx#L931 .

您想要做的是，在每次迭代(纪元)之后，打印出此训练损失，同时对留出的开发测试集执行您自己的评估。当您将训练中的模型应用于开发集时，您可以使用平均模型参数，如下所述:https://spacy.io/usage/training#tips-param-avg .

对于此开发评估，您可以实现您喜欢的任何指标，例如准确度、精确度、召回率、F 分数或类似于您一直在训练的损失函数，cf。 https://github.com/explosion/spaCy/blob/master/spacy/pipeline/pipes.pyx#L950 .