gpt4 book ai didi

serialization - 有什么方法可以在 Spark ML Pipeline 中序列化自定义 Transformer

转载 作者:行者123 更新时间:2023-12-04 18:59:50 24 4
gpt4 key购买 nike

我将 ML 管道与各种基于 UDF 的自定义转换器一起使用。我正在寻找的是一种序列化/反序列化此管道的方法。

我使用序列化 PipelineModel

ObjectOutputStream.write() 

但是,每当我尝试反序列化我拥有的管道时:
java.lang.ClassNotFoundException: org.sparkexample.DateTransformer

DateTransformer 在哪里是我的自定义转换器。是否有任何方法/接口(interface)可以实现正确的序列化?

我发现有
MLWritable

我的类可能实现的接口(interface)(DateTransformer 扩展了 Transfformer),但是找不到有用的示例。

最佳答案

如果您使用的是 Spark 2.x+,则使用 DefaultParamsWritable 扩展您的转换器

例如

class ProbabilityMaxer extends Transformer with DefaultParamsWritable{

然后创建一个带字符串参数的构造函数
 def this(_uid: String) {
this()
}

最后为成功读取添加一个伴随类
object ProbabilityMaxer extends  DefaultParamsReadable[ProbabilityMaxer]

我有这个在我的生产服务器上工作。稍后我会在上传时将gitlab链接添加到项目中

关于serialization - 有什么方法可以在 Spark ML Pipeline 中序列化自定义 Transformer,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40284214/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com