google-bigquery - BQ 项目中表数量的硬性限制

Question

我有一些高度可分区的数据，我想将其存储在 BigQuery 中，其中每个分区都有自己的表。我的问题是 BQ 是否支持我需要的 table 数量。

使用我的数据集，我每天会创建大约 2,000 个新表。所有表的有效期均为 390 天(13 个月)，因此最终此特定项目中的恒定计数为 ~ 2,000 个表 * 390 天 = ~780,000 个表。

我自己测试了一下，但 BQ 仅支持 max of 10,000每天为每个项目加载作业。

有人有这种 table 计数的经验吗？ Google 是否提供任何官方牌 table 限制？

Answer 1

现在有一些项目具有如此数量的不同表。目前对不同表的数量没有硬性上限。

当您考虑使用这么多表的表示时，会想到一些相关的注意事项:

• 查询(包括引用的 View )当前只能 reference 1000 tables .

• 使用 table wildcard 时，包含大量表的数据集可能会出现有问题的行为。功能。

• 您可能过度分片。您可能只想使用更广泛的架构和更少的表，而不是使用大量单独的表。

• 如果您严重依赖时间间隔作为分片考虑因素，您可能还需要查看 table decorators作为限制数据扫描范围的一种方式。

• 随着时间的推移，您可能还希望将数据折叠到更少、更大的表中，因为它们会老化且访问频率较低。例如，copy jobs可以将多个源表附加到单个目标表中。