python - 下载 huggingface 预训练模型

Question

我在 Colab Notebook 上下载了预训练模型后，它会在我重置 notebook 变量后消失。有没有办法可以下载模型以供第二次使用？

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

Answer 1

安装你的谷歌驱动器:

from google.colab import drive
drive.mount('/content/drive')

做你的事情并保存你的模型:

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokenizer.save_pretrained('/content/drive/My Drive/tokenizer/')

在新 session 中重新加载它:

tokenizer2 = BertTokenizer.from_pretrained('/content/drive/My Drive/tokenizer/')