python - 在 scikit-learn 中为新数据保存特征向量

Question

为了创建机器学习算法，我制作了一个字典列表，并使用 scikit 的 DictVectorizer 为每个项目制作了一个特征向量。然后，我使用部分数据从数据集创建了一个 SVM 模型进行训练，然后在测试集上测试该模型(您知道，典型方法)。一切都很好，现在我想将模型部署到野外，看看它如何处理新的、未标记的、看不见的数据。如何保存特征向量以使新数据具有相同的大小/特征并使用 SVM 模型？例如，如果我想训练单词的存在:

[{
 'contains(the)': 'True',
 'contains(cat)': 'True',
 'contains(is)': 'True',
 'contains(hungry)': 'True'
 }...
]

我使用一个列表进行训练，该列表具有相同的句子和数千种动物变体。当我向量化列表时，它会考虑提到的所有不同动物，并在向量中为每只动物创建一个索引('the'、'is' 和 'hungry' 不会改变)。现在，当我尝试在一个新句子上使用该模型时，我想预测一个项目:

[{
 'contains(the)': 'True',
 'contains(emu)': 'True',
 'contains(is)': 'True',
 'contains(hungry)': 'True'
 }]

在没有原始训练集的情况下，当我使用 DictVectorizer 时，它会生成:(1,1,1,1)。这比用于训练我的模型的原始向量少了几千个索引，因此 SVM 模型将无法使用它。或者即使向量的长度是正确的，因为它是在大量句子上训练的，特征也可能与原始值不对应。如何获取新数据以符合训练向量的维度？永远不会有比训练集更多的特征，但不能保证所有特征都出现在新数据中。

有没有办法用pickle来保存特征向量？或者我考虑过的一种方法是生成一个字典，其中包含所有可能的值为“False”的特征。这会将新数据强制为适当的向量大小，并且只计算新数据中存在的项目。

我觉得我可能没有充分描述问题，所以如果有什么不清楚的地方，我会尝试更好地解释它。提前致谢!

---

编辑:感谢 larsman 的回答，解决方案非常简单:

from sklearn.pipeline import Pipeline
from sklearn import svm
from sklearn.feature_extraction import DictVectorizer

vec = DictVectorizer(sparse=False)
svm_clf = svm.SVC(kernel='linear')
vec_clf = Pipeline([('vectorizer', vec), ('svm', svm_clf)])
vec_clf.fit(X_Train,Y_Train)
joblib.dump(vec_clf, 'vectorizer_and_SVM.pkl') 

流水线和支持向量机针对数据进行训练。现在所有 future 的模型都可以解开管道并在 SVM 中内置一个特征向量化器。

Answer 1

How do I get new data to conform to the dimensions of the training vectors?

通过使用 transform 方法代替 fit_transform。后者从您提供的数据集中学习新词汇。

Is there a way to use pickle to save the feature vector?

Pickle 已训练的向量化器。更好的是，制作矢量化器和 SVM 的 Pipeline 并对其进行 pickle。您可以使用 sklearn.externals.joblib.dump 进行高效酸洗。

(另外:如果您传递 bool 值 True 而不是字符串 "True"，向量化器会更快。)