machine-learning - 使用高斯贝叶斯分类器进行概率分类与逻辑回归

Question

我有一个二元分类问题，其中有一些很棒的功能，能够预测几乎 100% 的测试数据，因为问题相对简单。

但是，由于问题的本质要求，我没有犯错误的奢侈(比方说)，所以与其给出我不确定的预测，我宁愿将输出作为概率，设置一个阈值并会能够说，“如果我的确定率低于 95%，我会称其为“不确定”并采取相应行动”。说“我不知道”比犯错误更好。

到目前为止一切顺利。

为此，我尝试了高斯贝叶斯分类器(我有一个续功能)和逻辑回归算法，它们为我提供了概率以及分类的预测。

解决我的问题:

• GBC 的成功率约为 99%，而逻辑回归的成功率较低，约为 96%。所以我自然更愿意使用GBC。然而，GBC 取得如此成功的同时，它也对自己非常有信心。我得到的概率要么是 1，要么非常接近 1，例如 0.9999997，这对我来说很困难，因为实际上 GBC 现在不为我提供概率。

• 逻辑回归效果不佳，但至少给出了更好、更“合理”的赔率。

由于我的问题的本质，错误分类的成本是 2 的幂，因此如果我错误分类 4 个产品，我会多损失 2^4(它没有单位，但无论如何都给出了一个想法)。

最后；我希望能够比逻辑回归获得更高的成功率，但也能够拥有更多的概率，这样我就可以设置阈值并指出我不确定的阈值。

有什么建议吗？

提前致谢。

Answer 1

如果您有足够的数据，您可以简单地重新调整概率。例如，给定高斯分类器的“预测概率”输出，您可以返回(在保留的数据集上)并在不同的预测值下估计正类的概率。

此外，您可以简单地对保留集设置优化以确定最佳阈值(无需实际估计概率)。由于它是一维的，因此您甚至不需要做任何花哨的优化 - 测试 500 个不同的阈值并选择一个能够最大限度地减少与错误分类相关的成本的阈值。