google-bigquery - 有没有办法强制更新表元数据？

Question

因为流表不会立即更新表元数据。碰巧表没有有效的元数据(尤其是较小的表)。反过来，这会在使用表通配符函数时引起问题(因为它们与表元数据相关)。为了克服这个问题，我正在寻找一种强制更新表元数据的方法。我可以发起什么工作来做到这一点吗？谢谢

Answer 1

简短的回答是否定的。流系统以与通常存储数据不同的存储格式/系统缓冲流数据。我们定期将缓冲数据刷新到传统存储系统中，此时您感兴趣的表元数据将更新为该 block 刷新的数据。

出现此行为的原因是，在活跃的流式传输系统中，这些统计数据可能会不断变化，因此会不准确。由于流媒体摄取服务是一个分布式系统，因此获得有关缓冲数据的准确统计信息的唯一方法是扫描缓冲区并计算更新统计信息(在响应时，这可能不正确/过时)被退回，而且也非常昂贵)。我们选择将这些统计信息与“刷新”数据联系起来，以保持元数据值稳定，并避免需要昂贵的缓冲区扫描来返回在返回时可能不正确的数据。

我们在表元数据中有一个名为“streamingBuffer”的部分，它提供行/字节的估计，以及一些计时统计信息。

我从你的问题中看到你实际上正在使用表通配符中的信息(我假设你的意思是TABLE_QUERY？)。我将在内部提交一个错误，以将 StreamingBuffer 部分的估计数据包含在可用于表查询的字段中。