Python 内存错误 - Sklearn 大量输入数据？

Question

我需要在 sklearn 中训练 svm 分类器。特征向量的维度有数十万个，这样的特征向量有数万个。但是，每个维度可以是 0、1 或 -1。每个特征向量中只有大约 100 个非零。有什么有效的方法可以将特征向量的信息提供给分类器？

Answer 1

I need to train the svm classifier in sklearn.

你是说sklearn.svm.SVC？对于高维稀疏数据和许多样本，LinearSVC、LogisticRegression、PassiveAggressiveClassifier 或 SGDClassifier 的训练速度要快得多具有可比的预测准确性。

The dimensions of the feature vectors go in lakhs and there are tens of thousands of such feature vectors. However, each dimension can be 0, 1 or -1. Only some 100 are non-zero in each feature vector. Any efficient way to give the info about the feature vectors to the classifier?

找到一种方法将数据加载为 scipy.sparse 矩阵，并且不将零存储在内存中。看看documentation on feature extraction 。它将为您提供执行此操作的工具，具体取决于原始数据表示的性质。