apache-spark - Spark 多项式 Logistic 回归的意外系数

Question

我在我的 Mac OS Sierra 上运行 Spark 2.1.1(这应该有帮助)。我尝试在网上找到的测试数据集上拟合多项式逻辑回归，我在此处报告前几行(我不知道如何在此处附加文件):

1,0,24
1,0,26
1,0,26
1,1,27
1,1,27
3,1,27

第一列是标签(“品牌”，值:1、2、3)，第二列和第三列是特征(“性别”和“年龄”)。

由于标签有 3 个类别，因此多项逻辑回归应执行 3 个二项式模型，然后从最大化属于该类别的概率的模型中选择预测。因此，我希望模型返回 3x2 系数矩阵:3，因为类别为 3，返回 2，因为特征为 2。This文档似乎与这个观点是一致的。

但是，意外惊喜......

>>> logit_model.coefficientMatrix
DenseMatrix(4, 2, [-1.2781, -2.8523, 0.0961, 0.5994, 0.6199, 0.9676, 0.5621, 1.2853], 1)
>>> logit_model.interceptVector
DenseVector([-4.5912, 13.0291, 1.2544, -9.6923])

系数矩阵是 4x2，我有 4 个截距，而不是 3 个。更奇怪的是:

>>> logit_model.numClasses
4

出于某种奇怪的原因，模型“感觉”有 4 个类，即使我只有 3 个类(请参阅下面的代码来检查这一点)。

有什么建议吗？非常感谢。

<小时/>

完整代码如下:

from pyspark.sql import functions as f
from pyspark.sql import types as t
from pyspark.ml import classification as cl
from pyspark.ml import feature as feat

customSchema = t.StructType(
    [t.StructField('brand', t.IntegerType(), True),
    t.StructField('sex', t.IntegerType(), True),
    t.StructField('age', t.IntegerType(), True)]
)

test_df01 = (
    spark
    .read
    .format('csv')
    .options(delimiter=',', header=False)
    .load('/Users/vanni/Downloads/mlogit_test.csv', schema=customSchema)
)

va = (
    feat.VectorAssembler()
    .setInputCols(['sex', 'age'])
    .setOutputCol('features')
)
test_df03 = (
    va
    .transform(test_df01)
    .drop('sex')
    .drop('age')
    .withColumnRenamed('brand', 'label')
)

logit_abst = (
    cl.LogisticRegression()
    .setFamily('multinomial')
    .setStandardization(False)
    .setThresholds([.5, .5, .5]) # to be adjusted after I know the actual values
    .setThreshold(None)
    .setMaxIter(100) # default
    .setRegParam(0.0) # default
    .setElasticNetParam(0.0) # default
    .setTol(1e-6) # default
)

logit_model = logit_abst.fit(test_df03)

这里检查类是否只有 3:

>>> test_df03.select('label').distinct().orderBy('label').show()
+-----+
|label|
+-----+
|    1|
|    2|
|    3|
+-----+

Answer 1

这里没有什么奇怪的事情发生。 Spark 假定标签是连续的整数值，表示为 DoubleType，并从 0 开始。

由于您获得的最大标签是 3，Spark 假定标签实际上是 0、1、2、3 - 即使数据集中从未出现过 0。

如果不希望出现此行为，您应该将标签重新编码为从零开始，或在原始标签上应用 StringIndexer。