amazon-web-services - AWS SageMaker 在同一台机器上托管多个模型(ML 计算实例)

Question

我能够使用部署功能托管在 SageMaker 中开发的模型。目前，我发现我开发的不同模型需要部署在不同的 ML 计算实例上。

有没有办法在同一个实例上部署所有模型，使用单独的实例似乎是非常昂贵的选择。如果可以在同一实例上部署多个模型，是否会为模型创建不同的端点？

Answer 1

SageMaker 旨在解决大规模部署问题，您希望每秒调用数千次模型。对于此类用例，您希望在每个实例上执行同一模型的多个任务，并且通常在负载均衡器和自动缩放组后面为同一模型执行多个实例，以允许根据需要进行扩展和缩减。

如果您不需要这样的规模，并且单个模型即使只有一个实例对于您需要处理的每秒请求也不经济，您可以采用在 SageMaker 中训练的模型并将它们托管在后面一些服务框架，例如 MXNet 服务 (https://github.com/awslabs/mxnet-model-server) 或 TensorFlow 服务 (https://www.tensorflow.org/serving/)。

另请注意，您可以控制用于托管的实例类型，您可以为较小的负载选择较小的实例。以下是您可以选择的各种实例类型的列表:https://aws.amazon.com/sagemaker/pricing/instance-types/