python - 编写一个 fasttext 自定义转换器

Question

我有一个经过训练的自定义 fasttext 模型(fasttext 是 Facebook 开发的词嵌入算法)。我设法在一个函数中获得了预期的结果，但现在我想将它重写成一个定制的转换器，这样我就可以将它添加到我的 sklearn 管道中，因为它只接受转换器。

该函数接受一个词并返回该词的向量:

def name2vector(name=None):
    vec = [np.array(model.get_word_vector(w)) for w in name.lower().split(' ')]
    name_vec = np.sum(vec, axis=0) # If "name" is multiple words, sum the vectors
    return (name_vec)

返回值:

array([-0.01087821,  0.01030535, -0.01402427,  0.0310982 ,  0.08786983,
        -0.00404521, -0.03286128, -0.00842709,  0.03934859, -0.02717219,
         0.01151722, -0.03253938, -0.02435859,  0.03330994, -0.03696496], dtype=float32))

我希望更改器(mutator)做与函数相同的事情。我知道我可以使用 BaseEstimator 和 TransformerMixin 通过读取 tutorial 将其重写为转换器但我仍然坚持这一点。一些建议会很好，谢谢。

Answer 1

假设您正在使用 pandas DataFrame，您可以这样做:

from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression



class FastTextTransformer(TransformerMixin, BaseEstimator):
    def __init__(self, model):
        self.model = model
    
    def get_params(self, deep):
        return {'dimension': self.model.get_dimension()}
    
    def fit(self, X, y):
        # We assume the FT model was already fit
        return self
    
    def transform(self, X):
        X_copy = X.copy()
        X_copy = X_copy.apply(self.name2vector)
        
        return pd.DataFrame(X_copy.tolist())

    def name2vector(self, name):
        vec = [np.array(self.model.get_word_vector(w)) for w in name.lower().split(' ')]
        name_vec = np.sum(vec, axis=0) # If "name" is multiple words, sum the vectors
        return name_vec
    
    

为了演示用法，让我们加载一个 fasttext 模型和一个亚马逊评论的示例数据集:

import fasttext as ft

ft_model = ft.load_model('amazon_review_polarity.ftz')
amz_df = pd.read_html('https://huggingface.co/datasets/amazon_polarity/viewer/amazon_polarity/test')[0]
amz_df.rename(columns={'content (string)': 'content', 'label (class label)': 'label'}, inplace=True)
amz_df

然后将其用作真正的 scikit-learn 管道。

pipe = Pipeline([
    ('ft', FastTextTransformer(ft_model)),
    ('clf', LogisticRegression()),
])

现在我们可以拟合和预测

pipe.fit(amz_df['content'], amz_df.label)
pipe.predict(pd.Series(['great', 'very cool', 'very disappointed']))

哪个返回

array(['positive', 'positive', 'negative'], dtype=object)

注意如果您想计算句子中单词的平均值，而不是总和，您可以将 name2vector 替换为内置方法 get_sentence_vector。对于监督模型，它将返回平均值。对于无监督的(CBOW 和 skipgram)，它首先将每个向量除以其 L2 范数，然后取平均值。

查看讨论 here .

来源:Stefano Fiorucci - anakin87