google-cloud-dataproc - 使用 google-cloud-python API 访问 Dataproc 时出现无效区域错误

Question

我正在尝试使用 google-cloud-python 在 Dataproc 中创建集群但是，当设置 region = 'us-central1' 时，我得到以下异常:

google.api_core.exceptions.InvalidArgument: 400 Region 'us-central1' is invalid.
Please see https://cloud.google.com/dataproc/docs/concepts/regional-endpoints
for additional information on regional endpoints

代码(基于example):

#!/usr/bin/python

from google.cloud import dataproc_v1

client = dataproc_v1.ClusterControllerClient()

project_id = 'my-project'
region = 'us-central1'
cluster = {...}

response = client.create_cluster(project_id, region, cluster)

Answer 1

Dataproc 使用 region用于路由 REST 请求的字段，但是，该字段未在 gRPC 客户端中使用(因此出现错误)。

仅global可以通过默认端点访问多区域。使用区域端点，例如 us-central1 ，您必须将端点配置为客户端的 transport 上的地址.

Dataproc 区域端点遵循以下模式:<region>-dataproc.googleapis.com:443 。 region字段应设置为与端点中的区域相同的值。

示例:

#!/usr/bin/python

from google.cloud import dataproc_v1
from google.cloud.dataproc_v1.gapic.transports import cluster_controller_grpc_transport

transport = cluster_controller_grpc_transport.ClusterControllerGrpcTransport(
    address='us-central1-dataproc.googleapis.com:443')
client = dataproc_v1.ClusterControllerClient(transport)

project_id = 'my-project'
region = 'us-central1'
cluster = {...}

response = client.create_cluster(project_id, region, cluster)