python - 计算 Vowpal 上的分数

Question

我正在尝试对 Vowpal 中的样本数据运行逻辑回归。我创建了一个示例数据集，如下所示:

 1 1.0  | a:3.28 b:1.5 c:2.0  |example
-1 1.0  | a:1.25 b:0.4 c:1.4  |example
 1 1.0  | a:1.40 b:0.8 c:1.6  |example
 1 1.0  | a:2.00 b:4.2 c:2.1  |example
-1 1.0  | a:2.51 b:2.7 c:1.9  |example
 1 1.0  | a:1.72 b:2.3 c:0.6  |exampleone
 1 1.0  | a:1.81 b:2.1 c:0.9  |example

当我尝试运行逻辑时，它显示错误“您使用的是损失函数专家指定的标签 0 而不是 -1 或 1 或格式错误的示例”

之后我想计算最后的分数以及如何计算vowpal中的分数或auc曲线

Answer 1

确保使用正确的 input data format对于 Vowpal Wabbit .

如果您使用 --loss_function=logistic (或 --loss_function=hinge)并且某些示例具有标签，则会出现错误“您正在使用标签 0” 0. 我无法使用您提供的示例重现该错误。

示例中的“|example”被解释为没有任何功能的命名空间，这可能不是您想要的。 “1.0”被解释为示例重要性权重，但 1.0 是默认重要性权重，因此您可以省略它。如果要使用标签，它们必须位于第一个竖线之前(竖线之前没有任何空格)。所以示例应该如下所示:


1 标签1| a:3.28 b:1.5 c:2.0
-1标签2| a:1.25 b:0.4 c:1.4
1 标签3| a:1.40 b:0.8 c:1.6
1 标签4| a:2.00 b:4.2 c:2.1
-1 标签5| a:2.51 b:2.7 c:1.9
1 标签6| a:1.72 b:2.3 c:0.6
1 标签7| a:1.81 b:2.1 c:0.9


calculate the score at end and how to calculate the score or auc

什么分数？ VW 计算渐进验证损失(如果您使用多次传递且不使用 --holdout_off，则计算保留损失)。如果你想计算area under ROC curve您必须使用一些外部工具，例如perf 。请参阅Calculating AUC when using Vowpal Wabbit .