google-bigquery - 添加新的 id 列并将增量值填充到现有表中

Question

我需要在我的表中添加一个 id 列，该表有大约 500cr 行，并用增量值更新它。请建议最好的方法是什么。我尝试运行一个查询来更新值并存储在新表中，但查询在 6 小时后失败，说超时。请帮忙。

Answer 1

row_number() over() 相当昂贵!
您应该尝试 row_number() over(partition by some_field) 来跨分区重新分配编号。
在这里，您应该选择表中具有合理数量的不同值的分区字段 - 假设 1K 左右。
在“第一轮”之后 - 您将拥有复合键:partition_field + incremental number，您可以将其用作主键/外键，或者如果您愿意，可以进一步组合两者合二为一