gpt4 book ai didi

scala - 了解 UID 在 Spark MLLib Transformer 中的作用

转载 作者:行者123 更新时间:2023-12-04 19:34:57 24 4
gpt4 key购买 nike

我正在使用 Apache Spark 和 Scala 创建一个 ML 管道。我的管道中的一个变形金刚做了一个昂贵的 join在这个过程的早期操作。由于我的 ParamGrid 中有很多功能这意味着节目要撑得住这个巨大的,加入DataFrame在内存中优化网格中的每个特征。

为了尝试解决这个问题,我创建了一个自定义 Transformer缓存这么大的中级 DataFrame通过将其写入 S3 中的 Parquet 并返回从 Parquet 读取的数据帧。这运行良好并提高了模型的速度,直到我向 ParamGrid 添加了功能在缓存阶段之前上演。当我将 Parquet 写入 S3 时,我使用由以下条件确定的路径:

class Cacher(override val uid: String) extends Transformer {

// the cachePath variable determines the path within the S3 bucket
lazy val cachePath = Identifiable.randomUID(uid + "transformer-cache")

// ...

我想我误解了 uid正在工作...我的信念是,每当 Spark 优化 ParamGrid ,它使用管道中那个点上演的任何类,创建它们的新实例,并为它们提供新的、独特的 uid s 来跟踪它们。我怀疑缓存出了问题,因为 Spark 没有给出唯一的 uid到新 Transformer它创建的实例意味着每当缓存的新实例 Transformer 时,缓存的 Parquet 都会被不断覆盖。被 build 。任何人都可以就如何生成唯一的随机提供任何指示 uid s 对于管道创建的每个阶段实例?

干杯!

最佳答案

一步步:

  • uid Identifiable 要求trait( Transformer 延伸 PipelineStage 延伸 Params 延伸 Identifiable )。
  • 根据Identifiable文档 uid is :

    An immutable unique ID for the object and its derivatives.

  • 一般来说:
  • Params是可变的。设置参数返回this并且不影响 uid .

    import org.apache.spark.ml.feature.OneHotEncoder

    val enc = new OneHotEncoder()
    val enc_ = enc.setInputCol("foo")

    enc == enc_

    Boolean = true

    enc.uid == enc_.uid

    Boolean = true
  • copying Params创建一个新实例但保持不变 uid (请参阅上一点引用的强调部分)。

    val encCopy = enc.copy(new org.apache.spark.ml.param.ParamMap())

    encCopy == enc

    Boolean = false

    encCopy.uid == enc.uid

    Boolean = true
  • 您可以尝试覆盖 copy method避免 copying parent uid 但这似乎与制作 Params 背后的整个想法相冲突。 Identifiable .

  • 可能的解决方案:
  • 不要使用变压器 uid或使路径依赖于当前的参数集。
  • 不要手动写入缓存文件并使用内置缓存机制 ( Dataset.persist )。它不仅解决了手头的问题,还解决了退出时释放资源的隐藏问题。
  • 关于scala - 了解 UID 在 Spark MLLib Transformer 中的作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40874941/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com