google-bigquery - bigquery 的 time_partitioning_expiration 参数如何工作？

Question

我创建了一个分区类型为 day 的表，并通过 bq 命令行工具将 time_partitioning_expiration 设置为 1209600 秒(14 天)。我通过在表上运行 bq show 验证了设置是否正确，我可以看到

"timePartitioning": {
    "expirationMs": "1209600000", 
    "type": "DAY"
  }, 
  "type": "TABLE"

但是，分区中似乎有我预计会被删除的数据。

SELECT 
  count(*) as c,
  _partitiontime as pDate
FROM [poc.reporting]
group by pDate
; 

1   373800  2016-07-17 00:00:00 UTC  
2   640800  2016-07-18 00:00:00 UTC  
3   373800  2016-07-16 00:00:00 UTC  

我的理解是设置 time_partition_expiration 将在内部删除/删除分区正确吗？如果是这样，为什么在我的情况下没有删除分区？

Answer 1

看起来 Pavan 的最佳答案中描述的行为在 2016 年 12 月 13 日发生了变化，并且过期时间现在基于分区日期，而不是最后修改日期。

来自最新的文档:

For example, if the partition expiration is set to 60 days and data is written to partition 20170101 on January 30, 2017, then the data expires on January 1, 2017 + 60 days.

引用:BQ Partitioned Tables