gpt4 book ai didi

java - 如何在 Apache Spark Pipeline 中打印最佳模型参数?

转载 作者:搜寻专家 更新时间:2023-11-01 03:02:24 25 4
gpt4 key购买 nike

我正在使用 Apache Spark 的管道 API 来验证参数。我正在像这样构建 TrainValidationSplitModel :

Pipeline pipeline = ...
ParamMap[] paramGrid = ...

TrainValidationSplit trainValidationSplit = new TrainValidationSplit().setEstimator(pipeline).setEvaluator(new MulticlassClassificationEvaluator()).setEstimatorParamMaps(paramGrid).setTrainRatio(0.8);
TrainValidationSplitModel model = trainValidationSplit.fit(training);

我的问题是:如何提取和打印经过最佳训练的模型的参数?

最佳答案

我终于做到了。Spark 在训练后打印这些指标。我有 spark 的错误日志级别,所以我没有看到这个:

2015-10-21 12:57:33,828 [INFO  org.apache.spark.ml.tuning.TrainValidationSplit]
Train validation split metrics: WrappedArray(0.7141940371838821, 0.7358721053749735)

2015-10-21 12:57:33,831 [INFO org.apache.spark.ml.tuning.TrainValidationSplit]
Best set of parameters:
{
hashingTF_79cf758f5ab1-numFeatures: 2000000,
nb_67d55ce4e1fc-smoothing: 1.0
}

2015-10-21 12:57:33,831 [INFO org.apache.spark.ml.tuning.TrainValidationSplit]
Best train validation split metric: 0.7358721053749735.

现在我在我的 log4j.properties 文件中为类 TrainValidationSplit 添加了级别信息:

log4j.logger.org.apache.spark.ml.tuning.TrainValidationSplit=INFO
log4j.additivity.org.apache.spark.ml.tuning.TrainValidationSplit=false

关于java - 如何在 Apache Spark Pipeline 中打印最佳模型参数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32565594/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com