gpt4 book ai didi

python - 如何以vec格式保存fasttext模型?

转载 作者:行者123 更新时间:2023-12-03 13:50:54 24 4
gpt4 key购买 nike

我使用 fasttext.train_unsupervised() 训练了我的无监督模型python中的函数。我想将它保存为 vec 文件,因为我将把这个文件用于 pretrainedVectors fasttext.train_supervised() 中的参数功能。 pretrainedVectors只接受 vec 文件,但我在创建这个 vec 文件时遇到了麻烦。有人能帮我吗?
附言。我能够以 bin 格式保存它。如果您建议我一种将 bin 文件转换为 vec 文件的方法,这也会很有帮助。

最佳答案

为了获得仅包含所有词向量的 VEC 文件,我从 bin_to_vec official example 中获得灵感。 .

from fasttext import load_model

# original BIN model loading
f = load_model(YOUR-BIN-MODEL-PATH)
lines=[]

# get all words from model
words = f.get_words()

with open(YOUR-VEC-FILE-PATH,'w') as file_out:

# the first line must contain number of total words and vector dimension
file_out.write(str(len(words)) + " " + str(f.get_dimension()) + "\n")

# line by line, you append vectors to VEC file
for w in words:
v = f.get_word_vector(w)
vstr = ""
for vi in v:
vstr += " " + str(vi)
try:
file_out.write(w + vstr+'\n')
except:
pass
获得的 VEC 文件可能很大。
要减小文件大小,您可以调整矢量组件的格式。
如果只想保留4位十进制数字,可以替换 vstr += " " + str(vi)
vstr += " " + "{:.4f}".format(vi)

关于python - 如何以vec格式保存fasttext模型?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58337469/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com