gpt4 book ai didi

pytorch - 在 AllenNLP 包中保存/加载模型

转载 作者:行者123 更新时间:2023-12-04 15:49:58 24 4
gpt4 key购买 nike

我正在尝试加载 AllenNLP 模型权重。我找不到有关如何保存/加载整个模型的任何文档,因此只能使用权重。

from allennlp.nn import util
model_state = torch.load(filename_model, map_location=util.device_mapping(-1))
model.load_state_dict(model_state)

我稍微修改了我的输入语料库,因此我猜测我的语料库大小不匹配:

RuntimeError: Error(s) in loading state_dict for BasicTextFieldEmbedder:

size mismatch for token_embedder_tokens.weight:
copying a param with shape torch.Size([2117, 16]) from checkpoint,
the shape in current model is torch.Size([2129, 16]).

似乎没有官方的方法可以用语料库词汇来保存模型。周围有什么技巧吗?

最佳答案

AllenNLP 中有一个功能允许加载或保存模型。
您是否遵循了 AllenNLP's tutorial 中概述的步骤? ?下面我粘贴了您可能感兴趣的教程片段:

# Here's how to save the model.
with open("/tmp/model.th", 'wb') as f:
torch.save(model.state_dict(), f)

vocab.save_to_files("/tmp/vocabulary")

# And here's how to reload the model.
vocab2 = Vocabulary.from_files("/tmp/vocabulary")

model2 = LstmTagger(word_embeddings, lstm, vocab2)
with open("/tmp/model.th", 'rb') as f:
model2.load_state_dict(torch.load(f))

如果以上方法对您不起作用,您可以查看 allennlp.models.archival.archive_model 辅助功能。使用此功能,您应该能够将模型的训练配置以及权重和词汇存档到 model.tar.gz。
Here 您可以找到有关我讨论的两种方法的约束的更多信息

关于pytorch - 在 AllenNLP 包中保存/加载模型,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54227872/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com