machine-learning - 使用 Linear SVC 时检测到的 Spark ML 类错误 : Incorrect no.

Question

我正在研究二元分类问题，并使用 SparkML，使用随机森林和逻辑回归模型训练和评估我的数据，现在我想检查 SVM 对我的数据进行分类的效果。

我的训练数据片段:-

+----------+------+
|  spam    | count|
+----------+------+
|        No|197378|
|       Yes|  7652|
+----------+------+

Note:- My dependent variable: 'spam': string (nullable = true)

+-----+------+
|label| count|
+-----+------+
|  0.0|197488|
|  1.0|  7650|
+-----+------+

Note:- label: double (nullable = false)

更新我的问题:-

trainingData.select('label').distinct().show()
+-----+
|label|
+-----+
|  0.0|
|  1.0|
+-----+

因此，我使用下面的代码来使用线性 SVC 来拟合我的训练数据:-

 pyspark.ml.classification import LinearSVC
 lsvc = LinearSVC()
 # Fit the model
 lsvcModel = lsvc.fit(trainingData)

在我的数据框中，标签和因变量只有 2 个类，但我收到一条错误消息，指出检测到更多类。不太确定导致此异常的原因。 非常感谢任何帮助!

错误:-

IllegalArgumentException: u'requirement failed: LinearSVC only supports 
binary classification. 3 classes detected in 
LinearSVC_4240bb949b9fad486ec0__labelCol'

Answer 1

您可以尝试使用 OnehotEncoder 将标签值转换为分类数据，并将 handleInvalid 参数设置为“keep”