google-compute-engine - 基于队列长度的谷歌计算引擎自动缩放

Question

我们在 Google Compute Engine 上托管我们的基础设施，并正在研究实例组的自动缩放。我们对队列中的二进制数据进行了大量批处理。在我们的例子中，这意味着:

当工作人员处理数据时，CPU 始终为 100%

当队列为空时，我们要终止所有工作人员

根据队列的长度，我们需要一定数量的 worker

但是，我发现很难找到一种在 Google Compute Engine 上自动扩展的方法，因为它们似乎仅针对 CPU 等实例指标进行扩展。来自 documentation :

Not all custom metrics can be used by the autoscaler. To choose a valid custom metric, the metric must have all of the following properties:

• The metric must be a per-instance metric.
• The metric must be a valid utilization metric, which means that data from the metric can be used to proportionally scale up or down the number of virtual machines.

如果我正确阅读文档，这会使在全局队列长度上使用自动缩放变得困难吗？

备份解决方案

使用 Google Cloud API 编写一个简单的自动缩放处理程序，以使用 Instances API 创建或销毁新的工作线程

使用实例组编写一个简单的自动缩放处理程序，然后使用 InstanceGroups: insert 手动插入/删除实例

使用 InstangeGroupManagers: resize 编写一个简单的自动缩放处理程序

创建用于测量 len(queue)/len(workers) 的自定义每个实例指标在所有 worker

Answer 1

截至 2018 年 2 月(测试版)，这可以通过 stackdriver 中的“每组指标”实现。

Per-group metrics allow autoscaling with a standard or custom metric that does not export per-instance utilization data. Instead, the group scales based on a value that applies to the whole group and corresponds to how much work is available for the group or how busy the group is. The group scales based on the fluctuation of that group metric value and the configuration that you define.

更多信息请访问 https://cloud.google.com/compute/docs/autoscaler/scaling-stackdriver-monitoring-metrics#per_group_metrics

操作方法太长，无法在此处发布。