machine-learning - 机器学习准确性的最佳衡量标准是什么

Question

我一直在研究机器学习概念，但我仍然无法正确掌握可以使用哪个属性来确定什么可以告诉我的系统的真实准确性(如果是 TPR 或正确分类的实例)

我也在寻找 ROC 和 Kappa 统计的良好解释。据我所知，ROC 衡量系统学习的程度，Kappa 衡量系统猜测的程度。然而，这些是我们拥有多年经验的教授的解释。查看其他技术文档，我们无法弄清楚他所说的这些术语的含义。

所以，我只需要知道什么可以告诉我的算法的准确性，以及如果算法好的话需要哪些属性来支持，例如 ROC 和 Kappa 统计。

请帮忙!非常感谢!

Answer 1

关于机器学习性能的两个基本标准是误报(错误警报)率和漏报(错过目标)率。假设您正在寻找特定的对象类型，如果您在 100 个类外对象中检测到 10 个错误的对象作为目标，则误报率为 10%。

如果您在 100 个目标对象中将 10 个真实对象标记为类外，则假阴性比率为 10%。

通常这两个比率之间存在权衡，ROC 曲线面积是性能的良好指标