R - 如何创建堆叠器整体？

Question

我需要创建一个堆栈器集成，我是否可以将每个分类器输出的准确率汇总百分比与新分类器相结合

N贝叶斯

Result = 0.61% accuracy

K-NN(k = 5)

Result = 0.63% accuracy

K-NN(k = 10)

Result = 0.64% accuracy

决策树

Result = 0.60% accuracy

逻辑回归

Result = 0.62% accuracy

对这 5 个百分比进行分类？

或者我是否需要合并许多预测的输出例如像 table 一样的东西:

NB   k = 5  k = 10  dectree   Logistic   TrueLabel    
bob    1      1      bob       FALSE       bob
bob    2      2      john      TRUE        john
bob    1      1      bob       TRUE        bob

如果这样的话，那么输出是否不同(即它们都应该是 bob 或 john 而不是 true 或 false 或 1 或 2)是否重要？

我应该使用什么分类器来将它们结合起来？

Answer 1

为了创建堆叠集成，您需要使用您在问题末尾创建的表格，即:

NB   k = 5  k = 10  dectree   Logistic   TrueLabel    
bob    1      1      bob       FALSE       bob
bob    2      2      john      TRUE        john
bob    1      1      bob       TRUE        bob

“它们应该都是 bob 或 john，而不是 true 或 false、1 或 2？”的答案是，这取决于您将用于组合各个模型的模型。 r 中的大多数模型都与因素一起工作，在这种情况下，保留它们就可以了。确保您的第一列和第二列(具有数值)也被视为因子，否则它们将被视为数字，而您不希望这样(许多模型会根据因子创建虚拟变量，如果您的列是数字，那么这不会发生)。总结以上所有列的使用因子，但请阅读组合模型的文档(稍后介绍相关信息)以查看它是否接受因子作为输入。

对于您需要使用什么模型来组合输入的另一个问题，答案是:“您喜欢的任何模型”。通常的做法是使用简单的逻辑回归，但这并不能阻止您选择任何您喜欢的其他内容。这个想法是使用您的原始变量(用于训练各个模型的变量)加上您创建的上表(即各个模型的预测)，并查看新的准确性是否会比各个模型更好。在新的组合模型中，您仍然可以使用特征消除技术(例如向前或向后选择)来删除不重要的变量。

我希望这能解答您的问题。