google-cloud-platform - BigQuery - 聚簇表不会减少具有多个键的查询大小

Question

我正在尝试优化我在 BigQuery 中的查询成本，并且我一直在尝试集群表。
供引用:BigQuery - querying only a subset of keys in a table with key value schema

通过单列对表进行聚类成功地减少了我的查询大小。但是，使用多列(示例显示在: https://cloud.google.com/bigquery/docs/querying-clustered-tables#sample_table_used_in_the_examples 中)不会导致查询大小的任何减少。

要使用文档中给出的示例，

SELECT
  SUM(totalSale)
FROM
  mydataset.ClusteredSalesData
WHERE
  customer_id = 10000
  AND product_id LIKE 'gcp_analytics%'

如果表上没有集群，这将查询整个数据集(例如 100GB)，当仅通过 customer_id 集群时减少到大约 10GB(在实际运行后看到，而不是在验证器中)，但在通过customer_id 和 product_id(即使在实际运行查询之后)。

我曾尝试更改聚类的顺序、WHERE 子句的顺序等。似乎没有任何改变。

这是预期的行为吗？ BigQuery 上的错误？还是我做错了什么？

更新 :
感谢@Pentium10 为我指出: https://medium.com/@hoffa/bigquery-optimized-cluster-your-tables-65e2f684594b

要使用博客文章中的示例，请在以下两个查询中，

问题 1:

SELECT wiki, SUM(views) views
FROM fh-bigquery.wikipedia_v3.pageviews_2017
WHERE DATE(datehour) BETWEEN '2017-06-01' AND '2017-06-30'
AND wiki = 'en'
--AND title = 'Barcelona'
GROUP BY wiki ORDER BY wiki

问题 2:

SELECT wiki, SUM(views) views
FROM fh-bigquery.wikipedia_v3.pageviews_2017
WHERE DATE(datehour) BETWEEN '2017-06-01' AND '2017-06-30'
AND wiki = 'en'
AND title = 'Barcelona'
GROUP BY wiki ORDER BY wiki

我原以为 Q2 会更便宜，因为聚类是通过 (wiki, title) 进行的，但情况似乎并非如此。

Answer 1

在您的查询 1 (Q1) 中 - 处理的估计成本为 0.43 美元 86.1 GB - 实际计费字节数 - 18.4 GB
第 2 季度 - 估计处理成本 0.90 美元 180 GB - 实际计费字节数 - 10.3 GB
对我来说听起来更便宜:o)

但实际上，save 比 down to 10.3 GB from 18.4 GB 更大- 它实际上是 down to 10.3 GB from 38.6 GB .这是因为在第一季度没有 title完全涉及专栏，而在第二季度则是!
因此，要将苹果与苹果进行比较 - 您可以添加 title如下所示 - 您将看到估计成本为 180 GB - 而实际字节计费 - 38.6 GB
问题 3:

SELECT wiki, title, SUM(views) views
FROM `fh-bigquery.wikipedia_v3.pageviews_2017`
WHERE DATE(datehour) BETWEEN '2017-06-01' AND '2017-06-30'
AND wiki = 'en'
-- AND title = 'Barcelona'
GROUP BY wiki, title   

注意/提醒:当您查询聚簇表时 - 仅基于分区显示估计(截至目前 - 我的理解是稍后会修复/改进)