machine-learning - 调整 Apache Spark MLlib 算法

Question

我正在使用 Apche Spark Mllib 逻辑回归和线性回归算法。我正在使用文档中给出的代码片段。现在，在最新版本 Spark 1.5 中使用 LogisticRegressionWithSGD 和 LinearRegression 时出现问题。

我用于LogisticRegressionwithSGD的参数值是

Stepsize=0.01
No.of Iterations = 1000
minBatchFraction = 0.001

具有该值的混淆矩阵是

27821    0        
2287    0

对于具有 LogisticRegressionWithLBFGS 的相同数据，混淆矩阵为

27541   280  
1249   1038

我对 LogisticRegressionWithSGD 的结果完全一无所知。您能否告诉我为什么我使用 LogisticRegressionWithSGD 没有得到正确结果的原因。

Answer 1

对于 LogisticRegressionWithSGD，您需要改变参数，以便获得更好的准确性。参数值似乎不适合您的数据。尝试一下

  stepSize = 1.0
  numIterations = 1000
  miniBatchFraction = 1.0

此外，为了优化 LogisticRegressionWithLBFGS 结果，似乎对于您尝试预测的第二个类别有很多误报。由于结果可能很大程度上取决于您的数据，请问问自己数据是否平衡或有偏差？学习模式的数量和质量是否足够？属性是否经过充分选择和规范化？