google-bigquery - 大查询 : "Clustering encountered a key that is longer than"

Question

在对我的 Wikipedia 综合浏览量表进行聚类时，出现错误:

Clustering encountered a key that is longer than the maximum allowed limit of 1024 bytes.

上下文: https://medium.com/google-cloud/bigquery-optimized-cluster-your-tables-65e2f684594b

(我正在聚类

CREATE TABLE `fh-bigquery.wikipedia_v3.pageviews_2017`
PARTITION BY DATE(datehour)
CLUSTER BY wiki, title
...

)

Answer 1

对表进行聚类时，BigQuery 的键限制为 1KB。

您可以通过更改插入代码来为示例表解决此问题，以便截断任何太长的条目。

例如，而不是:

INSERT INTO `fh-bigquery.wikipedia_v3.pageviews_2018` (datehour, wiki, title, views)
SELECT datehour, wiki, title, views

截断可能很长的标题:

INSERT INTO `fh-bigquery.wikipedia_v3.pageviews_2018` (datehour, wiki, title, views)
SELECT datehour, wiki, SUBSTR(title, 0, 300) title, views

如果您继续遇到错误，请注意某些格式错误的字符串的长度可能比 SUBSTR() 的长度更长。看到。过滤掉那些:

WHERE BYTE_LENGTH(title) < 300