apache-spark - Spark 将新的拟合阶段添加到现有的 PipelineModel 无需再次拟合

Question

我有一个保存的 PipelineModel:

pipe_model = pipe.fit(df_train)
pipe_model.write().overwrite().save("/user/pipe_text_2")

现在我想向这个 Pipe 添加一个新的已经安装好的 PipelineModel:

pipe_model = PipelineModel.load("/user/pipe_text_2")
df2 = pipe_model.transform(df1)

kmeans = KMeans(k=20)
pipe2 = Pipeline(stages=[kmeans])
pipe_model2 = pipe2.fit(df2)

这可能不重新安装吗？为了获得新的 PipelineModel 而不是新的 Pipeline。理想的情况如下:

pipe_model_new = pipe_model + pipe_model2
TypeError: unsupported operand type(s) for +: 'PipelineModel' and 'PipelineModel'

我找到了 Join two Spark mllib pipelines together但是使用此解决方案，您需要再次安装整个管道。这就是我试图避免的。

Answer 1

自 PipelineModel s 有效 stage s 代表 PipelieModel类，你应该可以使用它不需要 fit再次:

pipe_model_new = PipelineModel(stages = [pipe_model , pipe_model2])
final_df = pipe_model_new.transform(df1)