gpt4 book ai didi

autoscaling - AWS Sagemaker 推理端点无法通过自动缩放进行缩放

转载 作者:行者123 更新时间:2023-12-02 19:03:47 25 4
gpt4 key购买 nike

我有一个 AWS Sagemaker 推理端点,该端点启用了 SageMakerVariantInvocationsPerInstance 目标指标的自动缩放。当我向端点发送大量请求时,实例数正确地扩展到最大实例数。但是在我停止发送请求后,实例数不会缩减为 1,即最小实例数。我等了好几个小时。这种行为有原因吗?

谢谢

最佳答案

AutoScaling 需要触发 cloudwatch 警报才能缩减。Sagemaker 在没有事件时不会推送 0 值指标(它只是不推送任何内容)。这会导致警报被放入数据不足,并且不会在您的工作负载突然结束时触发自动缩放规模。

解决方法是:

  1. 使用 cloudwatch 指标数学 FILL() 函数为您的规模制定步进扩展策略。这样您就可以告诉 CloudWatch“如果没有数据,在评估警报时假装这是指标值。这只有通过步长缩放,因为目标跟踪会为您创建警报(并且 AutoScaling 会定期重新创建它们,因此如果您进行手动更改,它们将被删除)
  2. 安排了缩放,每天晚上将大小重新设置为 1
  3. 确保流量在一段时间内持续处于低水平

关于autoscaling - AWS Sagemaker 推理端点无法通过自动缩放进行缩放,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65322286/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com