google-bigquery - BigQuery - 创建外部表

Question

如何在 BigQuery 中使用 CREATE EXTERNAL TABLE DDL 语句？

SnowFlake 和 Hive Based(Presto、AWS Athena...)等其他大数据仓库解决方案拥有它，而且非常有用。

Answer 1

2020 年 10 月 14 日更新，CREATE EXTERNAL TABLE今天发布。

CREATE EXTERNAL TABLE dataset.table 
OPTIONS (
  format = 'NEWLINE_DELIMITED_JSON',
  uris = ['gs://bucket/*.json']
);

---

CREATE EXTERNAL TABLE 选项在 BigQuery 中不可用，但作为替代方案，您可以使用 BigQuery 命令行界面来实现此目的:

创建表定义文件:

$ bq mkdef --autodetect --source_format=NEWLINE_DELIMITED_JSON "gs://gcp-bucket/*.json" > myschema

创建外部表:

$ bq mk --external_table_definition=myschema bq_dataset.bq_ext_table

文档链接:
https://cloud.google.com/bigquery/external-data-sources