google-bigquery - BigQuery 流式插入数据可用性延迟

Question

我已经使用 BigQuery 大约 2 个月了。在那段时间里，我使用流式插入每分钟添加数千个条目。我已经能够在几分钟内查询这些数据，如果不是几乎立即。

但是，从几天前开始，我的一张表突然开始显示数据可用性延迟 20 到 60 分钟。这只发生在我的一张 table 上。插入到其他表中的数据几乎立即可用。

BigQuery 出现这种数据可用性延迟是否正常？

遇到此问题的表是 accuAudience.trackPlays .我很乐意向 Google 团队成员提供项目 ID 和其他信息。

流式插入到有问题的表中的结果是:

{'kind': 'bigquery#tableDataInsertAllResponse'}

来自问题表的示例查询， accuAudience.trackPlays (按日期降序排列):

ROW DATE COUNT
1 2015-03-30 12:35:32 UTC 67
2 2015-03-30 12:35:31 UTC 65
3 2015-03-30 12:35:30 UTC 56
4 2015-03-30 12:35:29 UTC 45
5 2015-03-30 12:35:28 UTC 60

几秒钟后对不同的表 ( accuAudience.trackSkips ) 进行了相同的查询。请注意，日期字段比先前的查询早 30 分钟。

ROW DATE COUNT
1 2015-03-30 13:04:03 UTC 1
2 2015-03-30 13:04:02 UTC 1
3 2015-03-30 13:04:01 UTC 3
4 2015-03-30 13:04:00 UTC 3
5 2015-03-30 13:03:59 UTC 6

如果需要其他信息，请告诉我!

Answer 1

BigQuery 会定期运行后台维护任务以优化您的表以进行查询。其中一项后台任务导致流处理过程出现问题。这导致我们无法从流缓冲区读取，直到它被刷新。请注意，您可能已经将这视为一个持续存在的问题，而您则是在不断地将其流式传输到表中。

现在已经修复了。如果您仍然看到问题，请告诉我们您看到问题的表和项目。