python - 为流式插入自动创建 BQ 表

Question

也许我弄错了:有没有办法为 tabledata.insertAll 命令自动创建目标表？如果是，请指出正确的方向。

如果不是 - 创建所需表格的最佳方法是什么？在启动时检查现有表并通过从 GCS 加载创建不存在的表？或者它们是否可以直接从代码创建而无需加载作业？

我定义了许多事件类(Python 云端点)，完美的解决方案是使用这些定义来创建匹配的 BQ 表。

Answer 1

无法在流式传输期间自动创建表，因为 BigQuery 不知道架构。您发布的 JSON 数据没有类型信息——如果有一个字段“123”，我们不知道它是否总是一个字符串，或者它实际上是否应该是一个整数。此外，如果您发布的数据缺少可选字段，则创建的架构将比您想要的更窄。

创建表的最佳方法是使用 tables.insert() 调用(无需运行加载作业即可从 GCS 加载数据)。您可以准确提供所需的模式，一旦创建了表，您就可以将数据流式传输到它。

在某些情况下，客户会预先创建一个月的表，因此他们只需每 30 天担心一次。在其他情况下，您可能希望在启动时检查表是否存在，如果不存在，则创建它。