machine-learning - 具有多项式朴素贝叶斯的大量类 (scikit-learn)

Question

每当我开始拥有更多的类(1000 或更多)时，MultinominalNB 就会变得非常慢并且需要 GB 的 RAM。对于所有支持 .partial_fit()(SGDClassifier、Perceptron)的 scikit learn 分类算法也是如此。使用卷积神经网络时，10000 个类别没有问题。但是当我想在相同的数据上训练 MultinominalNB 时，我的 12GB RAM 不够用，而且速度非常慢。根据我对朴素贝叶斯的理解，即使有很多类，它也应该快很多。这可能是 scikit-learn 实现的问题(可能是 .partial_fit() 函数的问题)？如何在 10000 多个类上训练 MultinominalNB/SGDClassifier/Perceptron(批量)？

Answer 1

简短回答，没有太多信息:

• MultinomialNB 将独立模型拟合到每个类，因此，如果您有 C=10000+它适合的类(class) C=10000+模型，因此，只有模型参数将为 [n_classes x n_features] ，如果 n_features 则内存相当大很大。

• scikits-learn 的 SGDClassifier 使用 OVA(一对一)策略来训练多类模型(因为 SGDC 本质上不是多类)，因此，另一个 C=10000+模型需要经过训练。

• Perceptron，来自 scikits-learn 的文档:

Perceptron and SGDClassifier share the same underlying implementation. In fact, Perceptron() is equivalent to SGDClassifier(loss=”perceptron”, eta0=1, learning_rate=”constant”, penalty=None).

因此，您提到的所有 3 个分类器都不能很好地处理大量类别，因为需要为每个类别训练一个独立的模型。我建议您尝试一些本质上支持多类分类的方法，例如 RandomForestClassifier .