python - 如何保存一个热编码器？

Question

我正在尝试从 keras 保存一个热编码器，以便在不同的文本上再次使用它，但保持相同的编码。

这是我的代码:

df = pd.read_csv('dataset.csv ')
vocab_size = 200000
encoded_docs = [one_hot(d, vocab_size) for d in df.text]

如何保存此编码器并稍后再次使用？

我找到了this在我的研究中，但 one_hot() 似乎是一个函数而不是一个对象(抱歉，如果这是完全错误的，我对 python 相当陌生)。

Answer 1

为了社区的利益，在本节中提及答案(尽管它出现在评论部分中)。

要保存编码器，您可以使用以下代码:

import pickle
with open("encoder", "wb") as f: 
    pickle.dump(one_hot, f)

然后要加载保存的编码器，请使用以下代码:

encoder = pickle.load(f) 
encoded_docs =[encoder(d, vocab_size) for d in df.text]

由于函数 from.keras.preprocessing.text import one_hot 使用 hash() 生成准唯一编码，因此我们需要使用 HashSeed 用于重现我们的结果(即使多次执行后也能得到相同的结果)。

在终端中运行以下代码，用于设置HashSeed: