machine-learning - 堆叠分类器上的分类器数量是否必须等于我的训练/测试数据集的列数？

Question

我正在尝试解决二元分类任务。训练数据集包含 9 个特征，经过特征工程后，我最终拥有 14 个特征。我想使用堆叠分类器方法mlxtend.classifier.StackingClassifier 使用 4 个不同的分类器，但在尝试预测测试数据集时出现错误:ValueError: 查询数据维度必须与训练数据维度匹配

%%time
models=[KNeighborsClassifier(weights='distance'),
        GaussianNB(),SGDClassifier(loss='hinge'),XGBClassifier()]
calibrated_models=Calibrated_classifier(models,return_names=False)
meta=LogisticRegression()
stacker=StackingCVClassifier(classifiers=calibrated_models,meta_classifier=meta,use_probas=True).fit(X.values,y.values)

备注:在我的代码中，我刚刚编写了一个函数来返回带有校准分类器的列表 StackingCVClassifier 我已经检查过这不会导致错误

备注2:我已经尝试从头开始执行Stacker，结果相同，所以我认为这是我自己的Stacker的问题

from sklearn.linear_model import LogisticRegression
def StackingClassifier(X,y,models,stacker=LogisticRegression(),return_data=True):
  names,ls=[],[]
  predictions=pd.DataFrame()
  for model in models:
    names.append(str(model)[:str(model).find('(')])

  for i,model in enumerate(models):
    model.fit(X,y)
    ls=model.predict_proba(X)[:,1]
    predictions[names[i]]=ls
  if return_data:
    return predictions
  else:
    return stacker.fit(predictions,y)

您能帮我了解堆叠分类器的正确用法吗？

编辑:这是我的校准分类器代码。该函数接受一个包含 n 个分类器的列表，并将 sklearn 函数 CaliberatedClassifierCV 应用于每个分类器，并返回一个包含 n 个校准分类器的列表。您可以选择以邮政编码列表的形式返回，因为此函数主要与 sklearn 的 VotingClassifier

一起使用

def Calibrated_classifier(models,method='sigmoid',return_names=True):
  calibrated,names=[],[]
  for model in models:
    names.append(str(model)[:str(model).find('(')])

  for model in models:
    clf=CalibratedClassifierCV(base_estimator=model,method=method)
    calibrated.append(clf)
  if return_names:
    return zip(names,calibrated)
  else: 
    return calibrated

Answer 1

我已经用 Iris 数据集尝试了你的代码。它工作正常，我认为问题在于测试数据的维度而不是校准。

from sklearn.linear_model import LogisticRegression
from mlxtend.classifier import StackingCVClassifier
from sklearn import datasets
X, y = datasets.load_iris(return_X_y=True)


models=[KNeighborsClassifier(weights='distance'),
        SGDClassifier(loss='hinge')]
calibrated_models=Calibrated_classifier(models,return_names=False)
meta=LogisticRegression( multi_class='ovr')
stacker = StackingCVClassifier(classifiers=calibrated_models,
                               meta_classifier=meta,use_probas=True,cv=3).fit(X,y)

预测

stacker.predict([X[0]])
#array([0])