python - 将tensorflow BERT检查点转换为pytorch时出错

Question

我下载了针对特定领域的 bert 模型的 tensorflow 检查点，并将 zip 文件提取到文件夹 pretrained_bert 中，其中包含以下三个文件

model.ckpt.data-00000-of-00001

model.ckpt.index

model.ckpt.meta

我使用以下代码将tensorflow检查点转换为pytorch

import torch

from pytorch_transformers.modeling_bert import BertConfig, BertForPreTraining, load_tf_weights_in_bert


tf_checkpoint_path="pretrained_bert/model.ckpt"
bert_config_file = "bert-base-cased-config.json"
pytorch_dump_path="pytorch_bert"

config = BertConfig.from_json_file(bert_config_file)
print("Building PyTorch model from configuration: {}".format(str(config)))
model = BertForPreTraining(config)

# Load weights from tf checkpoint
load_tf_weights_in_bert(model, config, tf_checkpoint_path)

# Save pytorch-model
print("Save PyTorch model to {}".format(pytorch_dump_path))
torch.save(model.state_dict(), pytorch_dump_path)

运行上述代码时出现此错误

NotFoundError: Unsuccessful TensorSliceReader constructor: Failed tofind any matching files for pretrained_bert/model.ckpt

非常感谢任何帮助............

Answer 1

正如错误所示，

Failed to find any matching files for pretrained_bert/model.ckpt

您的程序可能无法从具有名为 pretrained_bert 的文件夹的位置执行，或者它确实没有 pretrained_bert/model.ckpt* 文件。

因此，首先，确保文件存在。此外，您可以按照以下步骤操作:

请提供绝对路径而不是相对路径。这将重新验证文件的存在。如果您仍然想使用相对路径，请验证当前执行所在的路径，然后如果您想导航到父目录，请使用 ../ 。