machine-learning - Vowpal Wabbit 多类分类预测概率

Question

我正在尝试使用 Vowpal Wabbit 解决多重分类问题。

我有一个如下所示的训练文件:

1 |特征空间

2 |特征空间

3 |特征空间

作为输出，我想获得属于每个类的测试项目的概率，如下所示:

1:0.13 2:0.57 3:0.30

例如，考虑 sklearn 分类器的 Predict_proba 方法。

我尝试过以下方法:

1) vw -oaa 3 train.file -f model.file --loss_function Logistic --link Logisticvw -p 预测.文件 -t 测试.文件 -i 模型.文件 -raw_predictions = pred.txt

但 pred.txt 文件为空(不包含任何记录，但已创建)。 Predict.file 仅包含最终类别，没有概率。

2) vw - csoaa3 train.file -f model.file --link Logistics我已经相应地修改了输入文件以适应 cs 格式。 csoaa 不接受 loss_function Logistic 并显示以下错误消息:“您使用的标签不是 -1 或 1，且损失函数期望如此!”

如果与默认平方损失函数和类似的输出命令一起使用，我会得到 pred.txt，其中包含每个项目的每个类的原始预测，例如:

2.33 1.67 0.55

我相信这是最终的平方距离。

有没有办法让 VW 输出类别概率或以某种方式将这些距离转换为概率？

Answer 1

VW 版本 7.9.0 中存在一个错误，并在 7.10.0 中修复，导致原始预测文件为空。

自 November 2015 ，获取概率的最简单方法是使用 --oaa=N --loss_function=logistic --probabilities -p probs.txt。 (或者，如果您需要依赖于标签的特征:--csoaa_ldf=mc --loss_function=logistic --probabilities -p probs.txt。)