apache-spark - Spark ML 中的 Param[] 和 Params[] 是什么

Question

作为一名统计人员，Spark ML库中Param和Params类的逻辑让我很困惑。由于基础类PipelineStage extends Params，transformer/estimator(对我来说就是机器学习算法)是PipelineStage的子类。那么 Params 不只是一个代表一些机器学习参数的简单类吗？并且访问管道中的某些参数需要某些父级要求。我只是不知道这是怎么回事......

Param 有什么合乎逻辑的解释吗？非常感谢!这让我很困惑。

Answer 1

我也被这两个概念弄糊涂了。以下是我对这两个的理解:

Param 在 scala.annotation.meta 包中，它扩展了 Annotation

Params在org.apache.spark.ml.param包中，也就是

Trait for components that take parameters. This also provides an internal param map to store parameter values attached to the instance.

尽管 Params 是一个接口(interface)，但是通过 DeveloperApi，您可以通过以下方式启动一个接口(interface)

/**
 * :: DeveloperApi ::
 * A param with self-contained documentation and optionally default value. Primitive-typed param
 * should use the specialized versions, which are more friendly to Java users.
 *
 * @param parent parent object
 * @param name param name
 * @param doc documentation
 * @param isValid optional validation method which indicates if a value is valid.
 *                See [[ParamValidators]] for factory methods for common validation functions.
 * @tparam T param value type
 */
    class Param[T](val parent: String, val name: String, val doc: String, val isValid: T => Boolean)
      extends Serializable