machine-learning - SageMaker Estimator.fit() 未将 'train' 输入传递给 Training 实例

Question

正如文档/教程中提到的，我们可以调用 Estimator.fit()开始训练工作。

该方法所需的参数为 inputs这是对训练文件的 s3/file 引用。示例:

estimator.fit({'train':'s3://my-bucket/training_data})

训练脚本.py

parser.add_argument('--train', type=str, default=os.environ['SM_CHANNEL_TRAIN'])

我希望os.environ['SM_CHANNEL_TRAIN']为 S3 路径。但相反，它返回 /opt/ml/input/data/train .

有人知道为什么吗？

更新

我还尝试调用 estimator.fit('s3://my-bucket/training_data')。并且不知何故，训练实例没有获得 SM_CHANNEL_TRAIN 环境变量。事实上，我根本没有在环境变量中看到 s3 URI。

Answer 1

在 SageMaker 中运行训练作业时，包含您提供的训练数据的 S3 URL 最终会从指定的 url 复制到 docker 容器(也称为训练作业)中。因此，环境变量 SM_CHANNEL_TRAIN 指向从提供的 S3 URL 复制的训练数据的本地路径。

https://docs.aws.amazon.com/sagemaker/latest/dg/API_CreateTrainingJob.html#SageMaker-CreateTrainingJob-request-InputDataConfig