python - 如何将 AWS Sagemaker 与较新版本的 Huggingface Estimator 一起使用？

Question

尝试在 sagemaker 上使用 Huggingface 估计器时，例如在 Amazon SageMaker 上运行训练

# create the Estimator
huggingface_estimator = HuggingFace(
        entry_point='train.py',
        source_dir='./scripts',
        instance_type='ml.p3.2xlarge',
        instance_count=1,
        role=role,
        transformers_version='4.17',
        pytorch_version='1.10',
        py_version='py38',
        hyperparameters = hyperparameters
)

当我尝试将版本增加到 transformers_version='4.24' 时，它抛出一个错误，支持的最大版本是 4.17。

如何将 AWS Sagemaker 与较新版本的 Huggingface Estimator 结合使用？

在 https://discuss.huggingface.co/t/deploying-open-ais-whisper-on-sagemaker/24761/9 上有关于使用较新版本进行推理的说明但看起来用它来训练 Huggingface 估计器的方法有点复杂 https://discuss.huggingface.co/t/huggingface-pytorch-versions-on-sagemaker/26315/5?u=alvations并且未确认复杂的步骤是否有效。

Answer 1

您可以使用 Pytorch 估算器，并在您的源目录中放置一个 requirements.txt，其中添加了 Transformers。这将确保两件事

1. 与 huggingface 估计器中的 1.10.2 相比，您可以使用更高版本的 pytorch 1.12(当前)。
2. 安装新版本的 HuggingFace Transformers 库。

为此，您需要像这样构建源目录

脚本/火车.py/需求.txt

并将 source_dir 属性传递给 pytorch 估计器

pt_estimator = PyTorch(
entry_point="train.py",
source_dir="scripts",
role=sagemaker.get_execution_role(),