machine-learning - 在机器学习模型中使用黄金特征的最佳方式是什么？

Question

假设我有一个分类模型。我的工作是从 30 个不同的类别中预测出正确的类别。目前准确率为 70%。

问题是:我必须使用另一个团队的分类结果，该结果准确率为 80%。所以我使用他们的预测标签作为特征。我将其称为“黄金特征”。假设我的目标是黄金特征的准确率 >80%。

这是我当前的方法:

(我正在使用深度学习。)我有几个特征，每个特征都有自己的权重。我还为“黄金特征”的一个热向量(1 x 30)创建了一个权重向量，并将所有权重一起训练。然而结果似乎并没有提供太多信息。

我思考了原因，并意识到学习的向量(30乘以n，然后n乘以30，因此它产生1乘30)不会那么有意义。它们只是正数。(如果我的推理有误，请骂我!)

有人遇到过类似的问题吗？任何建议将受到高度赞赏。您建议的方法不一定是深度学习方法。

Answer 1

您可以采用集成建模方法。

它看起来像这样:

feature_1 ---- |         |  
feature_2 ---- | Model 1 | ---- output 1
feature_n ---- |         |

feature_1 ---- |         |  
feature_2 ---- | Model 2 | ---- output 2
feature_n ---- |         |

feature_1 ---- |         |  
feature_2 ---- | Model n | ---- output n
feature_n ---- |         |

现在，您构建一个元模型。一个简单的元模型可能是一个简单的投票分类器(分类器的最大投票获胜，因此所有模型都具有相同的投票权重)或逻辑回归(加权投票)。您可以使用神经网络、随机森林或支持向量机，但它可能是太复杂的模型，因此请根据您的特定问题和数据量考虑使用它。

output_1 ---- |            |  
output_2 ---- | Meta Model | ---- Final Classification
output_n ---- |            |

在您的情况下，“黄金功能”就像输出 1 一样。

查看这篇写得很好的帖子了解更多详细信息:https://blogs.sas.com/content/subconsciousmusings/2017/05/18/stacked-ensemble-models-win-data-science-competitions/