java - BigQueryIO.Read.fromQuery 位于欧盟的数据集出现问题

Question

我在查询位于欧盟的 BigQuery 表/数据集时遇到问题。此处报告了该问题:https://github.com/GoogleCloudPlatform/DataflowJavaSDK/issues/86

我在 BigQueryTableRowIterator 的 createDataset 方法中做了解决方法，将位置设置为 EU。如果我使用 DirectPipelineRunner 运行 Pipeline，则此修复有效，但使用 DataflowPipelineRunner 则失败。主要原因是名为 _dataflow_temp_dataset* 的数据集。该数据集位于美国而不是欧盟...我找不到创建这些数据集的代码行。在 BigQueryTableRowIterator 中，使用名称架构创建临时数据集:

temporaryDatasetId = "_dataflow_temporary_dataset_" + rnd.nextInt(1000000);

在最终修复之前，有人知道解决此错误的方法吗？

Answer 1

正在对此进行修复，它将在数据流管道中使用位置感知临时数据集。

同时，您可以联系云支持，他们可以为您的 bigquery 表设置默认位置。如果您将默认位置设置为欧盟，这意味着 Dataflow 使用的临时数据集也将位于欧盟。