google-cloud-platform - 所有作业完成后自动关闭 Google Dataproc 集群

Question

在所有作业完成后，如何以编程方式自动关闭 Google Dataproc 集群？

数据处理 provides创建、监控和管理。但似乎我无法找到如何删除集群。

Answer 1

gcloud dataproc CLI 界面提供 max-idle选项。
这会在 x 数量的不活动(即没有正在运行的作业)后自动终止 Dataproc 集群。它可以按如下方式使用:

gcloud dataproc clusters create test-cluster \
    --project my-test-project \
    --zone europe-west1-b \
    --master-machine-type n1-standard-4 \
    --master-boot-disk-size 100 \
    --num-workers 2 \
    --worker-machine-type n1-standard-4 \
    --worker-boot-disk-size 100 \
    --max-idle 1h