python - 如何在实时数据上持续训练我们的预训练模型？

Question

我有一些传感器，可以从水泥厂获取数据并将数据发送到 AWS IoT。然后在预先训练的模型上测试数据，该模型根据一些参数预测水泥的质量。数据以一秒的间隔出现。

由于数据是实时输入的，我想实时增量地训练模型。

有人可以建议如何连续训练模型吗？

Answer 1

您可以聚合一定数量的训练数据，然后使用 .partial_fit() 更新您的模型。

.partial_fit()是增量学习选项，可在 Sklearn 中使用。

如果您的增量数据无法容纳在 RAM 中，那么值得尝试 dask-ml wrapper for incremental learning 。