测试无监督机器学习算法

Question

在整个互联网上，我可以看到监督和非监督机器学习算法的应用，但没有人谈论维护机器学习应用程序的质量。最近关于如何测试无监督机器学习算法的分析提出了以下几点:

1)交叉验证测试:数据集被分成相等的折叠(部分)，除了一个折叠之外的所有折叠都用作训练数据集，后来用作测试数据集

关于使用的更多选项测试和训练数据集。
是否有更有效的方法来测试输出不确定的无监督机器学习算法？

Answer 1

根据您使用的算法类型(和选择的距离)，您仍然可以尝试查看组间方差和组内方差是否变化很大。

如果您的算法仍然和构建时一样好，那么之间的方差和内部的方差应该不会有太大变化。如果收缩之间的方差(或相反)，则意味着您的算法没有像以前那样很好地分离组。

您可以尝试的第二件事是保留一些观察结果(您知道分类良好的观察结果)，以查看在您重新训练算法后它们是否仍在同一组中。如果不是，这并不意味着您的算法是错误的，但在这种情况下您可以发送警报以进行更深入的研究。