machine-learning - 如何推广二元分类器以将数据分类为任意大的集合？

Question

如何将空间分成两半的算法(例如支持向量机)推广到使用整数等集合中的标签来标记数据？

例如，支持向量机通过构造一个超平面来运行，然后超平面“上方”的事物采用一个标签，而其下方的事物采用另一个标签。

如何将其概括为例如整数或其他任意大的集合？

Answer 1

一种选择是“一对多”方法，在这种方法中，您为要划分的每个集合创建一个分类器，并选择概率最高的集合。

例如，假设您想要使用 {1,2,3} 中的标签对对象进行分类。然后您可以创建三个二元分类器:

• C1 = 1 或(非 1)
• C2 = 2 或(不是 2)
• C3 = 3 或(不是 3)

如果您在新的数据 X 上运行这些分类器，那么它们可能会返回:

• C1(X) = 31.6% 的概率处于 1
• C2(X) = 63.3% 的概率处于 2
• C3(X) = 89.3% 的机会进入 3

根据这些输出，您可以将 X 分类为最有可能来自类别 3。(概率之和不等于 1 - 这是因为分类器彼此不了解)。

如果您的输出标签是有序的(具有某种有意义的顺序，而不是任意顺序)。例如，在金融领域，您希望将股票分类为{买入、卖出、持有}。尽管您无法合法对这些进行回归(数据为 ordinal rather than ratio data )，但您可以将 -1、0 和 1 的值分配给 SELL、HOLD 和购买，然后假装您拥有比率数据。有时这可以产生良好的结果，即使这在理论上并不合理。