google-bigquery - 在 BigQuery 中将大量数据从美国数据集迁移到欧盟数据集的最佳方法？

Question

在位于美国的多个数据集中托管的单个 BigQuery 项目中，我在大约 100 万个表中有很多 TB。我需要将所有这些数据移动到在欧盟托管的数据集。我这样做的最佳选择是什么？

我会将表导出到 Google Cloud Storage 并使用加载作业重新导入，但每个项目每天的加载作业限制为 10K

我会将其作为带有“允许大结果”的查询并保存到目标表中，但这不适用于跨区域

我现在看到的唯一选择是使用 BQ 流 API 重新插入所有数据，这成本过高。

在 BigQuery 中跨区域移动多个表中的大量数据的最佳方法是什么？

Answer 1

你有几个选择:

使用加载作业，并联系 Google Cloud 支持以请求配额异常(exception)。他们可能会临时授予 100k 左右(如果没有，请联系我，tigani@google，我可以这样做)。

使用联合查询作业。也就是说，将数据移动到欧盟的 GCS 存储桶中，然后使用 GCS 数据源通过 BigQuery 查询重新导入数据。更多信息 here .

我还将研究我们是否可以全面提高此配额限制。