machine-learning - 将用户反馈纳入 ML 模型

Question

我为分类 (0/1) NLP 任务开发了一个 ML 模型，并将其部署在生产环境中。模型的预测会显示给用户，用户可以选择提供反馈(如果预测正确/错误)。

如何不断地将这些反馈纳入我的模型中？从用户体验的角度来看，您不希望用户针对特定输入纠正/教导系统超过两次/三次，系统应该快速学习，即反馈应该“快速”合并。 (Google 优先收件箱以无缝方式做到这一点)

如何构建这个“反馈循环”来改进我的系统？我在网上搜索了很多，但找不到相关 Material 。任何指示都会有很大帮助。

请不要说通过包含新数据点从头开始重新训练模型。这肯定不是谷歌和 Facebook 构建智能系统的方式

为了进一步解释我的问题 - 想想谷歌的垃圾邮件检测器或他们的优先收件箱或他们最近的“智能回复”功能。众所周知，他们有能力学习/合并(快速)用户反馈。

一直以来，当它快速结合用户反馈时(即用户必须教导系统每个数据点最多 2-3 次正确的输出，并且系统开始为该数据点提供正确的输出)并且它也确保它保留旧的学习成果，并且不会开始在旧数据点上给出错误的输出(之前它给出了正确的输出)，同时结合了新数据点的学习成果。

我还没有找到任何关于如何构建此类系统的博客/文献/讨论 - 机器学习系统中以详细反馈循环进行解释的智能系统

希望我的问题现在更清楚了。

更新:我发现的一些相关问题是:

• Does the SVM in sklearn support incremental (online) learning?

• https://datascience.stackexchange.com/questions/1073/libraries-for-online-machine-learning

• http://mlwave.com/predicting-click-through-rates-with-online-machine-learning/

• https://en.wikipedia.org/wiki/Concept_drift

更新:我仍然没有具体的答案，但这样的食谱确实存在。阅读以下博客中的“从反馈中学习”部分 Machine Learning != Learning Machine 。在这篇文章中，Jean 谈到了“向机器添加反馈摄取循环”。与 here 相同, here ，这里4 .

Answer 1

有几种方法可以做到这一点:

1) 您可以结合从用户那里获得的反馈，仅训练模型的最后一层，保持所有其他层的权重不变。例如，直观上，对于 CNN，这意味着您正在使用模型提取特征，但稍微调整分类器以考虑特定用户的特殊性。

2)另一种方法可能是拥有一个全局模型(在大型训练集上进行训练)和一个特定于用户的简单逻辑回归。对于最终预测，您可以合并两个预测的结果。请参阅this paper通过 Google 了解他们如何为优先收件箱做到这一点。