google-bigquery - BigQuery 最大分区数达到 2000 而不是 2500

Question

根据BigQuery docs ，分区表可以有2500个分区:

Maximum number of partitions per partitioned table — 2,500

然而:

$ bq query --destination_table grey-sort-challenge:partitioning_magic.nyc_taxi_trips_partitioned --time_partitioning_field pickup_datetime --use_legacy_sql=false "select * from \`grey-sort-challenge.partitioning_magic.nyc_taxi_trips\`"

Error in query string: Error processing job 'grey-sort-challenge:bqjob_r37b076ef0d3c4338_000001626c539e6a_1': Too many partitions produced by query, allowed 2000, query produces at least 2372 partitions

是 2000 还是 2500？

Answer 1

一个表最多支持4000个分区。
2000 是我们允许单个操作(在本例中为查询作业)生成的分区数。

配额和限制 - 分区表

• 每个分区表的最大分区数 — 4,000

• 单个作业修改的最大分区数 — 2,000

  每个作业操作(查询或加载)最多可以影响 2,000 个分区。任何影响超过 2,000 个分区的查询或加载作业都会被 Google BigQuery 拒绝。

• 每个表每天的最大分区修改次数 — 5,000对于分区表，您每天最多只能进行 5,000 次分区修改。可以通过使用追加或覆盖分区中的数据的操作来修改分区。修改分区的操作包括:加载作业、将结果写入分区的查询或修改分区中数据的 DML 语句(INSERT、DELETE、UPDATE 或 MERGE)。

  一个作业可能会影响多个分区。例如，DML 语句可以更新多个分区中的数据(对于摄取时间表和分区表)。查询作业和加载作业也可以写入多个分区，但仅限于分区表。 Google BigQuery 在确定作业消耗多少配额时使用受作业影响的分区数。流式插入不会影响此配额。

• 分区操作的最大速率——每 10 秒 50 次分区操作