gpt4 book ai didi

scala - Spark 中逻辑回归如何并行化?

转载 作者:行者123 更新时间:2023-11-30 09:35:05 26 4
gpt4 key购买 nike

我想了解一些关于机器学习库中用于并行化逻辑回归的方法,我已经尝试过检查源代码,但我不明白这个过程。

最佳答案

Spark 使用所谓的小批量梯度下降进行回归:

http://ruder.io/optimizing-gradient-descent/index.html#minibatchgradientdescent

简而言之,它的工作原理如下:

  1. 选择数据样本
  2. 计算样本每一行的梯度
  3. 聚合梯度
  4. 返回第 1 步

Spark 的实际优化代码来自这一行: https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/optimization/GradientDescent.scala#L234

关于scala - Spark 中逻辑回归如何并行化?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45322107/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com