amazon-web-services - AWS SageMaker 数据准备

Question

我正在尝试了解如何实现机器学习算法，其中预处理和后处理是 AWS Sagemaker 中的一项繁重任务。主要思想是从 S3 获取数据，每次 S3 中的数据发生变化时，Cloud watch 都会触发一个 lambda 函数来调用 SageMaker 端点。问题是，一旦训练了算法，在预测新数据之前，我需要对数据进行预处理(自定义 NLP 预处理)。算法完成预测后，我需要进行此预测，进行后处理，然后将后处理数据发送到 S3。我的想法是创建一个 docker:

├── text_classification/                - ml scripts
|   ├── app.py                            
|   ├── config.py                         
|   ├── data.py                           
|   ├── models.py                         
|   ├── predict.py                        - pre-processing data and post-processing data
|   ├── train.py                          
|   ├── utils.py                          

所以我将在“predict.py”中进行预处理和后处理。当我将调用端点进行预测时，该脚本将运行。这是正确的吗？

Answer 1

看看使用 Step Functions为您编排整个工作流程。

让 CloudWatch 事件触发将执行以下操作的 Step Function:

• 预处理数据
• 创建预测(如果是批处理，为什么不使用 batch transform 代替)。
• 使用重试循环检查推理是否已完成。
• 一旦推断出来，就运行数据后处理并复制到 S3。