google-api - BigQuery 分区表插入过去的数据

Question

我们要开始在 BQ 中使用“ 分区表 ”
但是文档( https://cloud.google.com/bigquery/docs/partitioned-tables )说只能使用“ 流式插入 ”

if the partitioning value is up to 7 days in the past, up to 3 days in the future,

在我们的例子中，我们有一些数据可能有超过 7 天的 q 分区值。

我们通过 BigQuery REST api 保存数据

这是否意味着我们不能使用分区表或者是否有其他解决方法？如何保存分区表越界(7days3days)的数据？

一般来说，这个想法是:我们有一个包含流数据(每分钟约 100 条记录)的表，我们希望将数据直接流到分区，然后使用分区进行分析查询

Answer 1

总结评论线程:

无法在 [过去 7 天， future 3 天] 之后流式传输到分区。这是一个与性能相关的限制，团队正在努力消除它。

解决方法:将数据流式传输到非分区表，然后从那里插入到分区表中。