machine-learning - 使用 Vowpal Wabbit 忘记单个示例

Question

Vowpal Wabbit 是一个在线学习工具。数据点以流的形式到达，并且模型会相应更新以适应标签。我有一个问题，是否可以忘记单个数据点？想象一下，一个数据点被消耗了，我想出于某种原因立即“忘记”它。原则上是否可以使用 Vowpal Wabbit 中的逻辑回归等在线学习算法？

Answer 1

大众汽车未实现此类功能。您可以尝试使用 -f --save_resume 和 -i 标志来解决此问题，以便在某个时间点存储\恢复模型状态，但效率很低。

可以在 C++ 代码中进行一些调整来实现此类功能，但它们高度依赖于您使用的训练算法、使示例不需要的标准以及何时可以应用此标准。例如，我玩过一次 GD 算法，让它在学习(一段时间后)时忽略一些基于当前模型在分类中的确定程度的示例。换句话说:不要从你不确定的示例中学习。因此，我可以在算法收到示例的同时确定示例是否不需要，并且很容易实现。

如果您正在训练二元分类器并且能够确定该示例不值得从更快的速度进行训练，那么某些元参数(例如 --decay_learning_rate)会显着改变情况，那么您可以尝试使用相反的标签为您的模型提供相同的示例。这可能足够接近真正的“忘却”，也可能不会。但绝对不等于真正的“忘学”。不过，在搞乱大众源代码之前我还是会尝试一下。