deployment - 您如何评估已部署在生产中的 ML 模型？

Question

为了更清楚，让我们考虑一下贷款违约预测的问题。假设我已经训练和测试了离线多个分类器并将它们集成在一起。然后我将这个模型投入生产。

但由于人的变化，数据和许多其他因素也会发生变化。我们模型的性能最终会下降。因此需要更换新的、更好的型号。

常用技术、模型稳定性测试、模型性能测试、部署后指标有哪些？如何决定何时用新型号替换当前型号？

Answer 1

这取决于哪个问题(分类、回归或聚类)，假设您有一个分类问题，并且您学习并测试了一个具有 75% 准确度(或其他指标)的模型，一旦投入生产，如果准确度明显低于 75%，您可以停止模型并查看发生了什么。

就我而言，我会在一周内每天记录一次生产中模型的准确性，之后计算准确性的平均值和方差，并应用平均值的 T 检验，看看该准确性是否符合是否明显偏离所需的准确度。

希望能有所帮助