google-bigquery - 在大查询中加入大表

Question

我正在尝试在两个大表之间执行内部联接，其中每个表包含近 3000 万条记录。当我尝试在这两个表之间运行一个简单的 INNER JOIN 时，出现如下错误，要求我使用 JOIN EACH 语法，但我没有找到任何关于 JOIN EACH 的谷歌引用文档。有人可以分享对此的想法吗？这是我的错误，如下所示。

Error: Table too large for JOIN. Consider using JOIN EACH. For more details, please see https://developers.google.com/bigquery/docs/query-reference#joins

Answer 1

从您的问题来看，您似乎只需要稍微阅读一下 doc available .

现在，在阅读 Jordan Tigani 的书后，我可以告诉您，当您加入时，系统实际上会在处理您的查询的每个分片中发送较小的表。由于您的表都不小于 8 Mb，因此它不能简单地发送您的表(因为它太大了)。

“JOIN EACH”的工作方式是告诉系统“对两个表的连接条件进行哈希处理，并将每个表的子集发送到特定的分片”。散列意味着无论您用作内部连接的标准，实际上都将在同一个分片中结束。它对性能有影响，但它是唯一可以在两个表都大于 8 mb 的情况下进行 JOIN 的方法。