google-bigquery - BigQuery 何时刷新流式输出缓冲区

Question

我知道不久前有人以不同的形式问过这个问题。但是现在 BQ 允许对分区表进行 DML，更重要的是了解何时刷新流缓冲区，以便我们可以对表执行 DML 以进行维护。

这现在非常重要，因为

我有 1500 个分区表。

每 table 至少有200
分区。

现在我必须更新所有表，因为我们正在为 GDPR 执行某种散列。

如果我不能运行 DML，那么
我必须通过加入引用表来重述 200 * 1500 分区。

如果我可以运行 DML，那么我只需要运行 1500 条 udpate 语句。

我已经停止了流式传输并且一直在等待 > 90 分钟，但仍然遇到相同的错误，即我无法运行 DML，因为该表具有流式缓冲区。任何与您自己的经验的回应将不胜感激。

Answer 1

答案是“视情况而定”，主要取决于您流式传输到缓冲区的数据大小 - 但它也基于 BQ 端的算法调整。截至目前 - 在数据刷新之前没有确定的时间可以以某种方式计算。并且没有手动调用缓冲区刷新的机制。