gpt4 book ai didi

python - 在 Spark 中堆叠 ML 算法

转载 作者:太空宇宙 更新时间:2023-11-04 00:06:02 24 4
gpt4 key购买 nike

是否有一个 spark api 可以在 spark 中构建堆叠合奏,还是应该从头开始构建它们?我还没有在网上找到关于这个主题的任何资源

最佳答案

正如 AKSW 的评论中所说,在当前的 Apache Spark MLlib 中,只有两个特定的集成模型实现,即 Random Forests用于装袋和 Gradient Boosted Trees用于提升。

对于堆叠部分,我认为您在 MLlib 上找不到任何东西,您必须自己完成:

  1. 创建一个函数来生成一个 Pipeline,该 Pipeline 将通过添加带有向量组装器和最终堆叠算法的基础学习器来进行堆叠
  2. 创建一个将您的基础学习器和堆叠算法作为参数的元估计器

第二个很方便,因为它可以与所有 MLlib 工具一起使用 Tuning Tools

对于第二个解决方案,我制作了一个包含提升、装袋和堆叠元估计器的库:spark-ensemble

您可以从中获取一些实现思路!

关于python - 在 Spark 中堆叠 ML 算法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54050547/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com