python - 使用 GoogleNews-vectors-negative300.bin 构建字典返回 ValueError : could not convert string to float

Question

尝试使用 pytorch Vector 加载 GoogleNews-vectors-male300.bin 时 struct我正在得到

ValueError: could not convert string to float: b'\x00\x00\x94:\x00\x00k\xba\x00\x00\x

我已经尝试过这个post (@robodasha)但没有成功。我的目标是使用 build_vocab 构建带有加载嵌入的词汇表 有什么建议吗？

Answer 1

最终使用gensim通过以下方式解决。

from gensim.models import KeyedVectors
from torchtext import data
import gensim

emb_model = KeyedVectors.load_word2vec_format(emb_bin_filename, binary=True, encoding="ISO-8859-1", unicode_errors='ignore')
word2index = {token: token_index for token_index, token in enumerate(emb_model.index2word)}
TEXT = data.Field(tokenize=my_tokenizer(), lower=lower)
TEXT.build_vocab(train_data)
TEXT.vocab.set_vectors(word2index, torch.from_numpy(emb_model.vectors).float().to(device), emb_model.vector_size)