machine-learning - 使用带有概率的 Vowpal wabbit 作为标签来预测概率

Question

我正在尝试使用 Vowpal Wabbit 来预测给定现有统计数据集的概率。我的 txt 文件如下所示:

0.22 | Features1
0.28 | Features2

现在，在这个例子中，我想预测 Features3 的标签(概率)。我正在尝试使用逻辑回归:

vw -d ds.vw.txt -f model.p --loss_function=logistic --link=logistic -p probs.txt

但出现错误:

You are using label 0.00110011 not -1 or 1 as loss function expects!
You are using label 0.00559702 not -1 or 1 as loss function expects!

等等..

如何使用这些统计数据作为标签来预测概率？

Answer 1

要预测连续标签，您需要使用以下损失函数之一:

--loss_function squared    # optimizes for min loss vs mean
--loss_function quantile   # optimizes for min loss vs median

--loss_function squared 是 vw 默认值，因此您可以将其省略。

您可以使用的另一个技巧是通过使用函数 (2*probability - 1) 将中点 0.5 映射到 0.0，将概率范围映射到 [-1, 1]。然后，您可以使用 --loss_function Logistic ，它需要二进制标签(-1 和 1)，但在标签后面加上 abs(概率) 作为浮点权重:

1 0.22 | features...
-1 0.28 | features...

这对于您的特定数据可能会或可能不会更好(您必须保留一些数据并测试不同模型的准确性。)

关于二进制结果的背景:vw“起点”(即空值或初始模型)在任何地方都是 0.0 权重。这就是为什么当您进行逻辑回归时，负、正标签必须为-1, 1(而不是0, 1 )分别。