google-cloud-platform - 谷歌 bigquery 导出表到谷歌云存储中的多个文件，有时是一个文件

Question

我正在使用 Bigquery python 库以 csv 格式将数据从 Bigquery 表导出到 GCS。

假设某些表可以超过 1 GB，我给出了一个通配符模式

有时即使表只有几 MB，它也会创建多个文件，有时它只会创建 1 个文件。

这背后有逻辑吗？

我的导出工作流程如下:

project = bq_project dataset_id = bq_dataset_id table_id = bq_table_id     
bucket_name =bq_bucket_name workflow_name=workflow_nm 
csv_file_nm=workflow_nm+"/"+csv_file_prefix_in_gcs+'*'client = 
bigquery.Client() destination_uri = "gs://{}/{}".format(bucket_name, 
csv_file_nm) dataset_ref = client.dataset(dataset_id, project=project) 
table_ref = dataset_ref.table(table_id) destination_table = 
client.get_table(dataset_ref.table(table_id)) configuration = 
bigquery.job.ExtractJobConfig() configuration.destination_format='CSV' – 
csv_file_nm=workflow_nm+"/"+csv_file_prefix_in_gcs 

Answer 1

我认为这是导出的预期行为。 Bigquery Export文档指定以下内容:

When you export data to multiple files, the size of the files will vary.

这对应于您在导出中看到的行为。