amazon-web-services - 部署命令在 aws sagemaker 中的作用是什么？

Question

我很想知道 model.deploy 命令在 aws sagemaker 笔记本中实现时在后台实际执行什么操作例如:预测器 = sagemaker_model.deploy(initial_instance_count=9,instance_type='ml.c5.xlarge')

而且在 sagemaker 端点自动缩放后台发生的情况时，启动新实例需要花费近 10 分钟的时间，此时大多数请求都会被丢弃或未处理，并且还会出现连接超时而负载测试抛出了 JMeter。 sagemaker 中有什么方法可以快速启动或黄金 AMI 之类的东西吗？

还有其他方法可以解决这个问题吗？

Answer 1

文档提到了部署方法的作用:https://sagemaker.readthedocs.io/en/stable/model.html#sagemaker.model.Model.deploy

您还可以在此处查看源代码:https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/model.py#L377

本质上，部署方法将您的模型托管在 SageMaker 端点上，并使用您指定的实例类型启动一定数量的实例。然后，您可以使用预测器调用模型:https://sagemaker.readthedocs.io/en/stable/predictors.html

对于自动扩展，您可能需要考虑降低扩展阈值，以便更早开始启动其他实例。本页面提供了一些关于如何确定端点可以处理的 RPS 的好建议。具体来说，您可能需要较低的 SAFETY_FACTOR 以确保及时配置新实例来处理您的预期流量。