gpt4 book ai didi

google-bigquery - BigQuery : How to autoreload table with new storage JSON files?

转载 作者:行者123 更新时间:2023-12-02 20:37:52 25 4
gpt4 key购买 nike

我刚刚通过链接 Google Cloud Storage 中的可用 JSON 文件创建了一个 BigQuery 表。但我没有看到任何选项可以自动重新加载表行以及在 Google Cloud Storage 文件夹或存储桶中添加的新文件。

目前,我必须转到 BigQuery 控制台,然后删除并重新创建同一表才能加载新文件。但这个解决方案对我们来说不可扩展,因为我们在 BigQuery API 上运行 cron 作业。如何在 BigQuery 中自动重新加载数据?

谢谢

最佳答案

当您在 Google Cloud Storage 中的文件之上定义外部表时 - 您可以使用通配符作为源位置,这样您的表将代表所有匹配的文件

然后,当您查询此类表时 - 您可以使用 _file_name 字段,它将“告诉”给定行来自哪个文件

SELECT  
_file_name AS file,
*
FROM `yourTable`

这样 - 每当您在 GCS 中添加新文件时 - 您都会“自动”将其添加到表中

关于google-bigquery - BigQuery : How to autoreload table with new storage JSON files?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46656243/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com