gpt4 book ai didi

streaming - 使用模板表数据可用性问题的 BigQuery 流式插入

转载 作者:行者123 更新时间:2023-12-03 21:48:55 27 4
gpt4 key购买 nike

我们已经使用 BigQuery 一年多了,没有任何问题。我们每隔几个小时将数据作为批处理作业加载一次,并且通常立即可用。

我们刚刚开始尝试使用模板表进行流式插入。在我们的第一次测试中,我们没有发现任何错误,数据立即显示出来。该测试创建了大约 120 个表。表格上的一个简单的选择计数(使用网络用户界面)得出了大约 8000 行的正确总数。经过几个小时的更多流式处理后,总数下降到约 1400 行。

不确定发生了什么,我们删除了数据集,重新创建了模板表并重新运行了流式传输。这一次,表格立即出现,但数据没有出现。在我们的第三次尝试中, table 本身没有出现超过几个小时。我们正在进行第四次尝试,这次我们只流式传输属于一个表的数据。表格马上就出现了,但是一个多小时了,数据还没有出现。

流媒体服务使用最新的 Java 库,一次只插入一条记录并记录响应。无一异常(exception)的响应始终是 {"kind":"bigquery#tableDataInsertAllResponse"} 并且没有错误。

任何试图了解正在发生的事情的帮助都会很棒。谢谢。

最佳答案

看来我们已经确定了问题所在。似乎模板表路径中存在竞争导致我们的系统认为第一 block 数据已被用户操作删除(表截断 - 显然不是),并且是下降。我们已经确定了修复程序,并将尝试尽快推出修复程序。

感谢您告知我们!

关于streaming - 使用模板表数据可用性问题的 BigQuery 流式插入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35351191/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com