python - databricks Rest api 奇怪的缺少参数

Question

我注意到了，有an unanswered question关于在尝试创建集群时从 azure databricks Rest api 2.0 获得奇怪的响应。

error_code': 'INVALID_PARAMETER_VALUE', 'message': 'Missing required field: size'

有人解决这个问题了吗？有新的 API 吗？或者其中有一些错误？

我实际上使用了 ms databricks documentation 中的示例我必须改变几件事，但我使用了

"autoscale": {
              "min_workers": 2,
              "max_workers": 8
                } 

我认为这个奇怪的错误可能与它有关，所以我设置了num_workers，它也导致了同样的问题。

我必须做出的其他改变

• 我使用了没有编码的纯 token 字符串(它不适用于编码)。
• 我使用了 headers={"Authorization": "Bearer %s"% (TOKEN)}否则有关于 header 的错误。
• 我还使用了 (response.content) 而不是尝试从 json 读取错误response.json()["error_code"]，它导致了一个错误(我没有深入进入其中，我只需要消息，出了什么问题)

Answer 1

好的。我不知道这是否是一种有效的方法，但这实际上在我的 azure databricks 资源上实际创建了集群。除了我上面提到的先前更改之外，我还删除了 "new_cluster" (参见示例 here )和

response = requests.post(
        'https://%s/api/2.0/clusters/create' % (DOMAIN),
        headers={"Authorization":  "Bearer %s" % (TOKEN)},
        json={
                "cluster_name": name.lower().strip(),
                "spark_version": "6.2.x-scala2.11",
                "node_type_id": "Standard_D3_v2",
                "spark_env_vars": {
                    "PYSPARK_PYTHON": "/databricks/python3/bin/python3"
                },
                "spark_conf": {
                    "spark.databricks.cluster.profile": "serverless",
                    "spark.databricks.repl.allowedLanguages": "sql,python,r"
                },
                "autoscale": {
                    "min_workers": 2,
                    "max_workers": 8
                },
                "ssh_public_keys": [],
                "autotermination_minutes":50
        }
    )