machine-learning - Keras 文本预处理 - 将 Tokenizer 对象保存到文件中以进行评分

Question

我按照以下步骤(大致)使用 Keras 库训练了一个情感分类器模型。

1. 使用 Tokenizer 对象/类将文本语料库转换为序列
2. 使用 model.fit() 方法构建模型
3. 评估此模型

现在，为了使用此模型进行评分，我可以将模型保存到文件中并从文件加载。但是我还没有找到将 Tokenizer 对象保存到文件的方法。如果没有这个，每次我需要对单个句子进行评分时，我都必须处理语料库。有办法解决这个问题吗？

Answer 1

最常见的方法是使用 pickle或joblib 。这里有一个关于如何使用 pickle 来保存 Tokenizer 的示例:

import pickle

# saving
with open('tokenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

# loading
with open('tokenizer.pickle', 'rb') as handle:
    tokenizer = pickle.load(handle)