python - 在 apache flink 中嵌入现有的 ML 模型

Question

我们正在离线训练机器学习模型并将其保存在 python pickle 文件中。

我们想知道将这些pickeled-models嵌入到流中的最佳方法(例如sensorInputStream > PredictionJob > OutputStream。

Apache Flink ML 似乎是使用流数据训练模型但不引用现有模型的正确选择。

感谢您的回复。

亲切的问候洛蒙戈

Answer 1

根据您使用的型号，有两种可能的解决方案:

1. 最简单的想法可能是创建外部服务来调用模型并返回结果，然后只需使用 AsyncFunction 调用服务
2. 使用一些库，再次根据您的模型在 ProcessFunction 的 open 方法中加载预先训练的模型。然后简单地为每个到达的数据调用模型。

第二个解决方案有两个缺点，首先您需要有可用的特定库的 Java 版本，另一个是如果您希望能够随着时间的推移更新模型，则需要以某种方式外部化模型的元数据。