python - 我们如何通过 rest API 或 http 请求创建 Dataproc 集群？

Question

我是 python 新手，在这里我想使用 http 请求创建 dataproc 集群。我正在关注下面的 dataproc 文档，他们在 REST API 部分中提到了这些文档。见下文 https://cloud.google.com/dataproc/docs/guides/create-cluster#creating_a_cloud_dataproc_cluster

看下面我正在尝试的代码

Endpoint_URL  = "https://dataproc.googleapis.com/v1/projects/*******/regions/us-central1-b/clusters"
data = {
    "projectId": "*****",
    "clusterName": "cluster-1",
    "config": {
        "configBucket": "",
        "gceClusterConfig": {
            "subnetworkUri": "default",
                "zoneUri": "us-central1-b"
        },
        "masterConfig": {
            "numInstances": 1,
            "machineTypeUri": "n1-standard-1",
            "diskConfig": {
                "bootDiskSizeGb": 500,
                "numLocalSsds": 0
            }
        },
        "workerConfig": {
            "numInstances": 2,
            "machineTypeUri": "n1-standard-1",
            "diskConfig": {
                "bootDiskSizeGb": 100,
                "numLocalSsds": 0
            }
        }
    }
}
r = requests.post(url=Endpoint_URL, data=data)
op_url = r.text
print("The pastebin URL is:%s" % op_url)

我不知道这是否正确，使用这段代码我无法创建集群。什么是解决方案谢谢

Answer 1

你应该使用 python-client-library更轻松地访问 Dataproc API。如果一定要手写http调用，可以post body为json格式。以下 http 请求将起作用:

    uri: https://dataproc.googleapis.com/v1/projects/<project>/regions/<region>/clusters?alt=json
    method: POST

    # Headers
    Authorization: <oauth token>
    accept: application/json
    accept-encoding: gzip, deflate
    content-length: <length>
    content-type: application/json

    # Body
    {
       "clusterName": "<cluster-name>",
       "config": {
           "gceClusterConfig": {...},
           "masterConfig": {...},
           "softwareConfig": {...},
           "workerConfig": {...}
       },
       "projectId": "<project_id>"
    }

如果你安装了 gcloud sdk，你可以通过添加 --log-http 标志来查看客户端发出的各种 http 请求的详细信息。例如-

gcloud dataproc clusters create <cluster-name> --log-http