gpt4 book ai didi

machine-learning - SageMaker Estimator.fit() 未将 'train' 输入传递给 Training 实例

转载 作者:行者123 更新时间:2023-11-30 09:41:54 26 4
gpt4 key购买 nike

正如文档/教程中提到的,我们可以调用 Estimator.fit()开始训练工作。

该方法所需的参数为 inputs这是对训练文件的 s3/file 引用。示例:

estimator.fit({'train':'s3://my-bucket/training_data})

训练脚本.py

parser.add_argument('--train', type=str, default=os.environ['SM_CHANNEL_TRAIN'])

我希望os.environ['SM_CHANNEL_TRAIN']为 S3 路径。但相反,它返回 /opt/ml/input/data/train .

有人知道为什么吗?

更新

我还尝试调用 estimator.fit('s3://my-bucket/training_data')。并且不知何故,训练实例没有获得 SM_CHANNEL_TRAIN 环境变量。事实上,我根本没有在环境变量中看到 s3 URI。

最佳答案

在 SageMaker 中运行训练作业时,包含您提供的训练数据的 S3 URL 最终会从指定的 url 复制到 docker 容器(也称为训练作业)中。因此,环境变量 SM_CHANNEL_TRAIN 指向从提供的 S3 URL 复制的训练数据的本地路径。

https://docs.aws.amazon.com/sagemaker/latest/dg/API_CreateTrainingJob.html#SageMaker-CreateTrainingJob-request-InputDataConfig

关于machine-learning - SageMaker Estimator.fit() 未将 'train' 输入传递给 Training 实例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57522553/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com