amazon-sagemaker - 如何使用 Estimator 在 sagemaker 中保存 model.tar.gz 文件

Question

我无法使用以下代码将模型工件保存在 S3 存储桶中。我能够成功地将结果保存在输出数据路径中，并且训练工作已成功完成。我正在使用以下代码段。
任何人都可以使用下面的代码确认我们如何将 model_artifacts 保存在模型目录中。

# train.py code
#!/usr/bin/env python

from __future__ import print_function
import os
import sys
import pandas as pd

prefix = '/opt/ml/'

input_dir = prefix + 'input/data'
output_data_dir = os.path.join(prefix, 'output/data')
model_dir = os.path.join(prefix, 'model')

channel_name='training'
training_path = os.path.join(input_dir, channel_name)

# The function to execute the training.
def train():
    print('Starting the training.')
    # Take the set of files and read them all into a single pandas dataframe
    input_files = [ os.path.join(training_path, file) for file in os.listdir(training_path) ]
    raw_data = [ pd.read_csv(file, header=None) for file in input_files ]
    input_data = pd.concat(raw_data)
    
    print(pd.DataFrame(input_data))
    
    output_data = input_data.to_csv(os.path.join(output_data_dir, 'output.csv'), header=False, index=False)
    

if __name__ == '__main__':
    train()

# Below are the S3 input and output paths :
output_path = "s3://{}/{}".format(bucket, prefix_output)
S3_input = "s3://{}/{}".format(bucket, prefix)

#Estimator Code

test_estimator = sagemaker.estimator.Estimator(ecr_image,                                # ECR image arn,
                                          role=role,                                 # execution role
                                          instance_count=1,                     # no. of sagemaker instances
                                          instance_type='ml.m4.xlarge',         # instance type
                                          output_path=output_path,              # output path to store model outputs
                                          base_job_name='sagemaker-job1',       # job name prefix
                                          sagemaker_session=session             # session
                                         )

# Launch instance and start training
test_estimator.fit({'training':S3_input})

这段代码缺少什么？

Answer 1

Sagemaker 自动保存到 output_path模型目录中的所有内容，以及 /opt/ml/model 中的所有内容.如果训练工作成功完成，最后 Sagemaker 会获取该文件夹中的所有内容，创建一个 model.tar.gz并上传到您的 output_path在与您的训练作业同名的文件夹中(sagemaker 创建此文件夹)。
您还可以使用环境变量 SM_OUTPUT_DATA_DIR ，默认情况下指向 /opt/ml/output/data并放置非模型训练工件(例如评估结果)，Sagemaker 将从该文件夹中创建一个名为 output.tar.gz 的文件。并将其上传到 model.tar.gz 的同一文件夹中在 S3 上。
我不明白您对“结果”的确切含义，但是无论您想将其放入存档中，您都可以将其保存在 model_dir 中。 .
因此，例如我如何在 json 和 H5 中保存我的模型，第一个将在 output.tar.gz 中存档，后者在 model.tar.gz

output_artifacts = os.environ.get('SM_OUTPUT_DATA_DIR')

with open(os.path.join(output_artifacts,"model.json"), "w") as json_file:
        json_file.write(model_json) 

model_directory = os.environ.get('SM_MODEL_DIR')
model.save(os.path.join(model_directory, 'model.h5'))