machine-learning - Vowpal Wabbit 多类线性分类

Question

是否可以使用 Vowpal Wabbit 库训练多类(多项)线性分类模型？

我尝试将 --oaa 与 --loss_function 平方一起使用，但似乎 --oaa 的默认损失函数是逻辑损失函数。

我正在使用rcv1.multiclass作为输入。

一个解决方案:

我可以创建数据的多个版本，如下所示:

版本 i:将除 I 类之外的所有标签设为零

然后我可以为每个版本的数据训练多个二元分类。最后，我可以将测试数据提供给所有分类器并应用 argmax。有更好的(自动化)解决方案吗？

Answer 1

当你使用vw --oaa N时，你实际上会得到一个线性 N 类分类器。要获得非线性分类器，您需要添加二次/多项式特征(-q、--cubic、--interactions)或内核 (--ksvm) 或隐藏层 (--nn) 或任何其他非线性约简 (--lrq、- -stage_poly，--autolink)。

损失函数的选择并不影响分类器是否是线性的。默认为--loss_function=squared。对于分类，我建议使用 --loss_function=logistic (如果你想预测每个类的概率，可以使用 --probabilities)或 --loss_function =hinge(如果您只关心顶级)。

Then I can train multiple binary classifications for each version of data. Finally, I can feed the test data to all the classifier and apply an argmax. Is there any better (automated) solution?

是的，这正是 --oaa 所做的(但效率更高)。