amazon-web-services - Lambda throttle 低于并发限制

Question

我们使用Lambda来驱动通过新闻媒体网站访问的API(通过API网关)，从而获得流量的波动，但流量很高。我们开始体验 throttle ，因此我们将并发限制提高到2000。但是，我们仍然每天经历多次 throttle 。

奇怪的是，在CloudWatch指标中，当我们受到限制时，并发请求的峰值约为600或更低。请参阅此CloudWatch图表作为示例:



以前有没有人经历过？您为什么认为这种情况正在发生？我们对于它可以做些什么呢？

更多信息

此图表涵盖了整个区域的所有Lambda。

发生限制时，它会在所有Lambda实例上发生。

我们主要通过API网关触发Lambda，但有一些是通过SNS(相当高的数据速率)触发的。

我们在所有API之前都有CloudFront，对于其中的一些API，我们有5秒的缓存时间(对于超频繁请求的API-节省我们$$)

另外，此图还显示了同一时间段内的总调用次数和平均持续时间。很难知道是什么原因(由于 throttle 而导致持续时间长，反之亦然，因为某些lambda确实称为其他lambda)。请注意相应的轴，因为比例尺完全不同。

Answer 1

我认为这与Lambda并发爆发限制有关。

基本上，在突发负载下可以同时运行Lambda函数的实例数是有限制的，此限制与整体按区域Lambda并发限制不同。

您可以在此处找到有关它的更多信息:

https://docs.aws.amazon.com/lambda/latest/dg/scaling.html

相关部分:

AWS Lambda dynamically scales function execution in response to increased traffic, up to your concurrency limit. Under sustained load, your function's concurrency bursts to an initial level between 500 and 3000 concurrent executions that varies per region. After the initial burst, the function's capacity increases by an additional 500 concurrent executions each minute until either the load is accommodated, or the total concurrency of all functions in the region hits the limit.