google-bigquery - bigquery 输出中 group_concat/string_agg 的最大限制是多少？

Question

我正在使用 group_concat/string_agg(可能是 varchar)并希望确保 bigquery 不会丢弃任何连接的数据。

Answer 1

如果特定查询内存不足，BigQuery 不会丢弃数据；你会得到一个错误。您应该尽量将您的行大小保持在 ~100MB 以下，因为超过该值您将开始出现错误。您可以尝试使用如下示例创建一个大字符串:

#standardSQL
SELECT STRING_AGG(word) AS words FROM `bigquery-public-data.samples.shakespeare`;

此表中有 164,656 行，此查询创建了一个包含 1,168,286 个字符(大小约为 1 兆字节)的字符串。但是，如果您在单个执行节点上运行的查询需要的内容超过数百兆字节，您将开始看到错误:

#standardSQL
SELECT STRING_AGG(CONCAT(word, corpus)) AS words
FROM `bigquery-public-data.samples.shakespeare`
CROSS JOIN UNNEST(GENERATE_ARRAY(1, 1000));

这会导致错误:

Resources exceeded during query execution.

如果单击 UI 中的“解释”选项卡，您可以看到在构建 STRING_AGG 的结果时，故障发生在第 1 阶段。在这种情况下，该字符串的长度为 3,303,599,000 个字符，或大小约为 3.3 GB。