machine-learning - 将二值化器与 sklearn 模型一起保存

Question

我正在尝试构建一个包含 2 个组件的服务。在第 1 部分中，我通过创建管道来使用 sklearn 训练机器学习模型。该模型使用 joblib.dump 进行序列化(实际上是 numpy_pickle.dump)。组件 2 在云中运行，加载由 (1) 训练的模型，并使用它来标记作为输入获得的文本。

我遇到了一个问题，在训练期间(组件 1)，我需要首先对我的数据进行二值化，因为它是文本数据，这意味着模型是在二值化输入上进行训练的，然后使用由二值化器。当 (2) 根据模型进行预测时，我需要恢复此映射，以便我可以输出实际的文本标签。

我尝试将二值化器添加到像这样的管道中，认为模型本身将具有映射:

p = Pipeline([
('binarizer', MultiLabelBinarizer()),
('vect', CountVectorizer(min_df=min_df, ngram_range=ngram_range)), 
('tfidf', TfidfTransformer()), 
('clf', OneVsRestClassifier(clf))
])

但我收到以下错误:

model = p.fit(training_features, training_tags)
*** TypeError: fit_transform() takes 2 positional arguments but 3 were given

我的目标是确保二值化器和模型绑定(bind)在一起，以便消费者知道如何解码模型的输出。

执行此操作的现有范例有哪些？我是否应该将二值化器与我创建的其他对象中的模型一起序列化？是否有其他方法可以将二值化器传递给 Pipeline，这样我就不必这样做，并且如果我这样做，我是否能够从模型中获取映射？

Answer 1

您的直觉是应该将 MultiLabelBinarizer 添加到管道中，这是解决此问题的正确方法。它本来可以工作，只是 MultiLabelBinarizer.fit_transform 不采用 fit_transform(self, X, y=None) 方法签名，该方法签名现在是 sklearn 估计器的标准。相反，它有一个我以前从未注意到的独特的 fit_transform(self, y) 签名。由于这种差异，当您在管道上调用 fit 时，它尝试将training_tags作为第三个位置参数传递给具有两个位置参数的函数，这不会'不工作。

这个问题的解决方案很棘手。我能想到的解决这个问题的最干净的方法是创建自己的 MultiLabelBinarizer 来覆盖 fit_transform 并忽略它的第三个参数。尝试如下操作。

class MyMLB(MultiLabelBinarizer):
    def fit_transform(self, X, y=None):
        return super(MultiLabelBinarizer, self).fit_transform(X)

尝试将其添加到管道中代替 MultiLabelBinarizer，看看会发生什么。如果您能够 fit() 管道，那么您将遇到的最后一个问题是您的新 MyMLB 类必须可以在任何将要设计的系统上导入。 -pickle 您现在经过训练的、pickled 的管道对象。最简单的方法是将 MyMLB 放入其自己的模块中，并将副本放置在将进行 de-pickling 并执行模型的远程计算机上。那应该解决它。

我误解了 MultiLabelBinarizer 的工作原理。它是输出变压器，而不是输入变压器。这不仅解释了该类的替代 fit_transform() 方法签名，而且还使其与包含在单个分类管道中的想法从根本上不兼容，该分类管道仅限于转换输入和进行预测输出。然而，一切并没有失去!

根据您的问题，您已经习惯将模型作为[某种形式的].pkl 文件序列化到磁盘。您还应该能够序列化经过训练的 MultiLabelBinarizer，然后将其解包并使用它来解包管道中的输出。我知道您正在使用 joblib，但我将像您使用 pickle 一样编写此示例代码。我相信这个想法仍然适用。

X = <training_data>
y = <training_labels>

# Perform multi-label classification on class labels.
mlb = MultiLabelBinarizer()
multilabel_y = mlb.fit_transform(y)

p = Pipeline([
('vect', CountVectorizer(min_df=min_df, ngram_range=ngram_range)), 
('tfidf', TfidfTransformer()), 
('clf', OneVsRestClassifier(clf))
])

# Use multilabel classes to fit the pipeline.
p.fit(X, multilabel_y)

# Serialize both the pipeline and binarizer to disk.
with open('my_sklearn_objects.pkl', 'wb') as f:
    pickle.dump((mlb, p), f)

然后，将 .pkl 文件发送到远程盒子后...

# Hydrate the serialized objects.
with open('my_sklearn_objects.pkl', 'rb') as f:
    mlb, p = pickle.load(f)

X = <input data> # Get your input data from somewhere.

# Predict the classes using the pipeline
mlb_predictions = p.predict(X)

# Turn those classes into labels using the binarizer.
classes = mlb.inverse_transform(mlb_predictions)

# Do something with predicted classes.
<...>

<小时/>

这是这样做的范例吗？据我所知，是的。不仅如此，如果您希望将它们放在一起(我认为这是一个好主意)，您可以将它们序列化为元组，就像我在上面的示例中所做的那样，以便它们保留在单个文件中。无需序列化自定义对象或类似的东西。

通过 pickle et al. 进行模型序列化是 sklearn approved way to save estimators在运行之间并在计算机之间移动它们。我之前已经多次成功地使用过这个流程，包括在生产系统中取得了成功。