machine-learning - 如何计算机器学习问题的概率而不是实际分类

Question

假设我们有一些可以用作训练集的数据点。每行由 4 个采用 bool 值的列(特征)组成。第五列表示类，它也采用 bool 值。这是一个例子(它们几乎是随机的):

1,1,1,0,1
0,1,1,0,1
1,1,0,0,1
0,0,0,0,0
1,0,0,1,0
0,0,0,0,0

现在，我想做的是建立一个模型，使得对于任何给定的输入(换行)，系统不会返回类本身(就像常规分类问题的情况一样)，而是返回该特定的概率输入属于 0 类或 1 类。我该怎么做？此外，如何生成与该计算相关的置信区间或错误率？

Answer 1

并非所有分类算法都会返回概率，因为并非所有分类算法都有底层概率模型。例如，分类树只是一组规则，您可以遵循这些规则将每个新输入分配给特定的类。

具有潜在概率模型的分类算法的一个示例是逻辑回归。在此算法中，特定输入x属于该类的概率为

prob = 1 / (1 + exp( -theta * x ))

其中 theta 是与 x 具有相同维度的系数向量。一般来说，要从概率转向分类，您只需设置阈值，例如

if prob < 0.5
  return 0;
else
  return 1;
end

其他分类算法可能具有概率解释，例如随机森林本质上是具有多个分类树的投票算法。如果 80% 的树投票给类别 1，20% 的树投票给类别 2，那么您可以输出属于类别 1 的概率为 80%。但这是模型工作方式的副作用，而不是明确的潜在概率型号。