machine-learning - 卷积神经网络的在线训练

Question

在 this文章神经网络是在线训练 - 在训练期间选择输入:

This can be done by selecting the hard positive/negative exemplars from within a mini-batch.

有人可以详细解释一下在线培训吗？

Answer 1

在线学习描述的是一次训练一个输入数据点或一次一个小批量的模型。通常，使用在线学习是因为数据以流的形式出现，或者因为数据太大而无法一次全部保存在内存中。

天真地一次训练一个示例通常需要更多步骤才能达到与离线训练相同的精度，因为您无法在每一步中针对整个数据集优化损失函数。

但是，您链接的论文使用在线学习来智能地选择几次训练示例，以加快模型的收敛速度。他们的方法尝试选择当前对模型来说最困难的示例，以便模型在每个训练步骤中都能取得最大的改进。