google-bigquery - 大查询 : Partitioning data past 2000 limit (Update: Now 4000 limit)

Question

这个问题在这里已经有了答案:





Partition by week/month//quarter/year to get over the partition limit?

(2 个回答)


2年前关闭。




从分区表的 BigQuery 页面:

Each table can have up to 2,000 partitions.

我们计划按天对数据进行分区。我们的大多数查询都基于日期，但我们有大约 5 年的历史数据，并计划从现在开始每天收集更多。只有 2000 个分区:2000/365 为我们提供了大约 5.5 年的数据。

需要超过 2000 个分区的表的最佳实践是什么？

每年创建一个不同的表并在需要时连接表？

是否可以按周或月进行分区？

如果您寻求支持，可以增加 2000 个分区限制吗？

更新:表限制现在是 4000 个分区。

Answer 1

我们正在实现 2000 个分区限制(因此我们提前记录了这一点，以便提前通知我们的用户)。所以这是一个软限制。

创建大量分区会影响性能，因此我们建议将表限制为 2000 个分区。根据表的架构，我们在这里有一些空间，因此如果可能增加，请寻求支持是合理的。我们将根据我们认为针对该表的操作需要多少资源来审查它。

我们希望在 future 的某个时候支持更多的分区(最多 10K)，但我们正在努力进行必要的设计和实现更改(我们目前没有关于它的 ETA)。