python - BigQuery Load 作业的无架构解决方案

Question

背景

我研究发现bigQuery不接受在线工具定义的模式(它们具有不同的格式，尽管含义相同)。因此，我发现如果我想将数据(其中列数不断变化并动态增加)加载到具有固定架构的表中。

想法

我可以做的解决方法是:

1. 首先检查正在加载的数据是否有额外字段。
2. 如果有，就会发生架构不匹配，因此首先在 BQ 中创建一个临时表，并使用“autoDetect”参数将此数据加载到表中，这会为我提供一个架构(即 BQ 接受的格式)架构文件)。
3. 现在我可以下载此架构文件并使用它来更新 BQ 中的现有表并加载适当的数据。

建议

对此有什么想法，如果有更好的方法请分享。

Answer 1

我们正在发布一项新功能，该功能可以更新加载/查询作业中目标表的架构。通过自动检测和新功能，您可以直接将新数据加载到现有表中，并且架构将作为加载作业的一部分进行更新。敬请期待。当前预计到达时间为 2 周。