google-cloud-platform - 了解 GCP Dataproc 计费及其如何受标签影响

Question

我正在努力确保清楚地了解我的组织如何为 Google Cloud Platform Dataproc 付费。

我们已将账单历史记录导出到 BigQuery，以便我们对其进行分析。今天早上我们有两个 dataproc 集群在运行，下面的屏幕截图显示了这两个集群的一部分账单历史记录。我过滤了 labels.key = "goog-dataproc-cluster-uuid"或 labels.key = "goog-dataproc-cluster-name"或 labels.key = "goog-dataproc-location" .这是结果的一个子集

我在两种 sku 的成本周围画了方框。让我们来看看在 EMEA 运行的标准 Intel N1 16 VCPU 项目。

我只有两个集群，但对于这两个集群中的每一个，都有三行。原因是每个 dataproc 集群应用了三个标签，因此成本 1.271852 和 3.815556 各出现三次。

那么我的简单问题是...如何获得我的数据处理集群的总成本？我是将所有这些数字相加(这意味着总成本在所有标签上平均分配)还是只取其中一个值(意味着每个标签都重复成本)？

---

这是表达我的问题的另一种方式。此查询是否给出运行集群 data-dev-dataplatform-dataproc 一天的总成本:

SELECT  sum(cost)
FROM [dh-billing-179310:billing.gcp_billing_export_XXXXXXXX] 
WHERE labels.key = "goog-dataproc-cluster-name"
  and labels.value = "data-dev-dataplatform-dataproc" 
  and usage_start_time >= "2018-07-05 00:00:00"
  and usage_end_time <= "2018-07-06 00:00:00"

或者我是否需要包含其他标签才能获得总费用？

Answer 1

在计费导出数据的扁平化 View 中，每个标签都重复成本；您应该为任何特定计算选择一个标签值。如果您尝试计算 Dataproc 总数，使用 Dataproc 插入的“goog-dataproc-*”标签之一可能最方便。

这里的想法是，您可以使用不同的标签集来轻松组织归因于任何给定子项目的与 Dataproc 相关的总成本，这样您就可以根据不同的维度过滤您的结算查询。