apache-spark - 增量学习 - 在 Spark 2.0 中为 ML 算法的先前模型设置初始权重或参数值

Question

我正在尝试在 Spark 2.x 中设置机器学习(分类)算法的初始权重或参数。不幸的是，除了 MultiLayerPerceptron 算法之外，没有其他算法提供设置初始权重/参数值的方法。

我正在尝试使用 Spark 来解决增量学习问题。在这里，我需要加载旧模型，用系统中的新数据重新训练旧模型。我怎样才能做到这一点？

如何对其他算法执行此操作，例如:

• 决策树
• 随机森林
• 支持向量机
• 逻辑回归

我需要试验多种算法，然后需要选择性能最好的一种。

Answer 1

How can I do this for other algorithms like:

• Decision Trees
• Random Forest

你不能。基于树的算法不太适合增量学习，因为它们着眼于数据的全局属性，并且没有可用于引导过程的“初始权重或值”。

• Logistic Regression

您可以使用StreamingLogisticRegressionWithSGD它准确地实现了所需的过程，包括使用 setInitialWeights 设置初始权重。

• SVM

理论上，它可以通过扩展StreamingLinearAlgorithm来类似于流回归StreamingLogisticRegressionWithSGD或StreamingLinearRegressionWithSGD来实现。 ，但是没有这样的内置实现，因为 org.apache.spark.mllib 处于维护模式，所以不会有。