python - 使用 Python 将表从 Cloud Storage 加载到 BigQuery

Question

有人可以分享一个作业配置示例，用于将 json newline_delimited 文件上传到新的 Bigquery 表吗？

尝试根据 google 文档执行此操作，但到目前为止没有成功。

Answer 1

This example来自 GCP 存储库非常适合从 GCS 加载数据。

您唯一需要在代码中进行调整的是将 job.source_format 设置为新的分隔 json 文件，如下所示:

def load_data_from_gcs(dataset_name, table_name, source):
    bigquery_client = bigquery.Client()
    dataset = bigquery_client.dataset(dataset_name)
    table = dataset.table(table_name)
    job_name = str(uuid.uuid4())

    job = bigquery_client.load_table_from_storage(
        job_name, table, source)

    job.source_format = 'NEWLINE_DELIMITED_JSON'
    job.begin()

    wait_for_job(job)

    print('Loaded {} rows into {}:{}.'.format(
        job.output_rows, dataset_name, table_name))

(正确的做法是在您的函数中接收此参数作为输入，但这只是一个示例)。

此外，当您运行这段代码时，该表应该已经存在(我在 Python API 中寻找模式自动检测，但似乎还没有)。