machine-learning - 随机森林模型中的训练误差低于测试误差

Question

我一直在研究机器学习模型，但我对选择哪个模型或者是否应该尝试其他技术感到困惑。我正在研究随机森林来预测使用高度不平衡的数据集进行转换的倾向。下面给出了目标变量的类平衡。

   label   count                                                                
0    0.0  1,021,095
1    1.0    4459

我训练的两个模型是使用上采样，然后使用欠采样。以下是我用于上采样和欠采样的代码

train_initial, test = new_data.randomSplit([0.7, 0.3], seed = 2018)
train_initial.groupby('label').count().toPandas()
test.groupby('label').count().toPandas()

#Sampling Techniques --- Should be done one of these
#Upsampling ----
df_class_0 = train_initial[train_initial['label'] == 0]
df_class_1 = train_initial[train_initial['label'] == 1]
df_class_1_over = df_class_1.sample(True, 100.0, seed=99)
train_up = df_class_0.union(df_class_1_over)
train_up.groupby('label').count().toPandas()

#Down Sampling
stratified_train = train_initial.sampleBy('label', fractions={0: 3091./714840, 1: 1.0}).cache()
stratified_train.groupby('label').count().toPandas()

以下是我训练模型的方式

labelIndexer = StringIndexer(inputCol='label',
                             outputCol='indexedLabel').fit(new_data)


featureIndexer = VectorIndexer(inputCol='features',
                               outputCol='indexedFeatures',
                               maxCategories=2).fit(new_data)

from pyspark.ml.classification import RandomForestClassifier
rf_model = RandomForestClassifier(labelCol="indexedLabel", featuresCol="indexedFeatures")

labelConverter = IndexToString(inputCol="prediction", outputCol="predictedLabel",
                               labels=labelIndexer.labels)

# Chain indexers and tree in a Pipeline
pipeline = Pipeline(stages=[labelIndexer, featureIndexer, rf_model, labelConverter])

# Search through random forest maxDepth parameter for best model
paramGrid = ParamGridBuilder() \
    .addGrid(rf_model.numTrees, [ 200, 400,600,800,1000]) \
    .addGrid(rf_model.impurity,['entropy','gini']) \
    .addGrid(rf_model.maxDepth,[2,3,4,5]) \
    .build()


# Set up 5-fold cross validation
crossval = CrossValidator(estimator=pipeline,
                          estimatorParamMaps=paramGrid,
                          evaluator=BinaryClassificationEvaluator(),
                          numFolds=5)    

train_model = crossval.fit(train_up/stratified_train)

以下是两种方法的结果

#UpSampling - Training                                 
Train Error = 0.184633
precision: 0.8565508112679312
recall: 0.6597217024736883                                            
auroc: 0.9062348758176568
f1 : 0.7453609484359377

#Upsampling - Test                                
Test Error = 0.0781619                             
precision: 0.054455645977569946
recall: 0.6503868471953579
auroc: 0.8982212236597943
f1 : 0.10049688048716704

#UnderSampling - Training                               
Train Error = 0.179293           
precision: 0.8468290542023261
recall: 0.781807131280389
f1 : 0.8130201200884863                                          
auroc: 0.9129391668636556

#UnderSamping - Test                               
Test Error = 0.147874
precision: 0.034453223699706645
recall: 0.778046421663443
f1 : 0.06598453935901905
auroc: 0.8989720777537427

引用 StackOverflow 上的各种文章，我了解到如果测试误差低于训练误差，则实现中可能会出现错误。然而，我不太确定为了训练我的模型我会在哪里出错。另外，在类别高度不平衡的情况下，使用哪种采样更好。如果我进行欠采样，我担心是否会丢失信息。

我希望有人可以帮助我解决这个模型并帮助我消除疑虑。

提前非常感谢!!

Answer 1

测试误差低于训练误差并不一定意味着实现中存在错误。您可以增加训练模型的迭代次数，并且根据您的数据集，训练误差可能会低于测试误差。但是，您最终可能会过度拟合。因此，目标还应该是检查测试集的其他性能指标，例如准确性、精确度、召回率等。

过采样和欠采样是相反但大致相同的技术。如果您有很多数据点，那么最好进行欠采样。否则进行过采样。 SMOTE 是一种很棒的过采样技术，它通过创建合成数据点而不是多次重复相同的数据点。

https://imbalanced-learn.readthedocs.io/en/stable/generated/imblearn.over_sampling.SMOTE.html

另一个技巧，用不同的种子对数据进行混洗，看看训练误差是否大于测试误差。我怀疑你的数据差异很大。了解方差与偏差的权衡。

从结果来看，您似乎已经构建了一个相当不错的模型。也尝试使用 XGBoost 并将结果与​​随机森林进行比较。