tensorflow - 删除下载的 tensorflow 和 pytorch(Hugging face) 模型

Question

我想从我的笔记本电脑中删除 tensorflow 和拥抱面部模型。
我确实找到了一个链接 https://github.com/huggingface/transformers/issues/861
但是没有可以删除它们的命令，因为如链接中所述，手动删除会导致问题，因为我们不知道哪些其他文件链接到这些模型，或者期望某个模型存在于该位置，或者只是它可能导致一些错误。

Answer 1

转换器库将下载的文件存储在您的缓存中。据我所知，没有内置方法可以从缓存中删除某些模型。但是你可以自己编码一些东西。这些文件与具有 .json 的两个附加文件一起使用一个神秘名称存储。 ( .h5.json 在 Tensorflow 模型的情况下)和 .lock附加到神秘名称。 json 文件包含一些可用于识别文件的元数据。以下是此类文件的示例:

{"url": "https://cdn.huggingface.co/roberta-base-pytorch_model.bin", "etag": "\"8a60a65d5096de71f572516af7f5a0c4-30\""}

我们现在可以使用此信息来创建缓存文件列表，如下所示:

import glob
import json
import re
from collections import OrderedDict 
from transformers import TRANSFORMERS_CACHE
 
metaFiles = glob.glob(TRANSFORMERS_CACHE + '/*.json')
modelRegex = "huggingface\.co\/(.*)(pytorch_model\.bin$|resolve\/main\/tf_model\.h5$)"

cachedModels = {}
cachedTokenizers = {}
for file in metaFiles:
     with open(file) as j:
         data = json.load(j)
         isM = re.search(modelRegex, data['url'])
         if isM:
             cachedModels[isM.group(1)[:-1]] = file
         else:
             cachedTokenizers[data['url'].partition('huggingface.co/')[2]] = file

cachedTokenizers = OrderedDict(sorted(cachedTokenizers.items(), key=lambda k: k[0]))

现在你所要做的就是检查 cachedModels 的 key 。和 cachedTokenizers并决定是否要保留它们。如果您想删除它们，只需检查字典的值并从缓存中删除文件。不要忘记也删除相应的 *.json和 *.lock文件。