google-bigquery - 使用 Google Bigquery 的灵活模式

Question

我有大约 1000 个包含七列的文件。其中一些文件有几行有第八列(如果有数据)。

将此加载到 BigQuery 的最佳方式是什么？我必须找到并编辑所有这些文件吗？- 在所有文件中添加一个空的第八列- 从所有文件中删除第八列？我不关心此列中的值。

有没有办法在模式中指定八列，并在没有可用数据时为第八列添加空值。

如果可能有帮助，我正在使用 BigQuery API 加载数据。

Answer 1

您可以使用“allowJaggedRows”参数，它将行末尾不存在的值视为空值。因此您的模式可能有 8 列，所有没有该值的行都将为空。

此处记录:https://developers.google.com/bigquery/docs/reference/v2/jobs#configuration.load.allowJaggedRows

我已经提交了一个文档错误，以便更容易找到它。