python - 如何使用 Azure DataBricks Api 提交作业？

Question

我是 Azure Databricks 的初学者，我想使用 API 在 python 中创建集群和提交作业。我被困住了，因为我无法这样做。另外，如果我有一个现有的集群，代码会是什么样子？运行此代码后我获得了作业 ID，但看不到任何输出。

import requests

DOMAIN = ''
TOKEN = ''
response = requests.post(
  'https://%s/api/2.0/jobs/create' % (DOMAIN),
  headers={'Authorization': 'Bearer %s' % TOKEN},
  json={
       "name": "SparkPi spark-submit job",
       "new_cluster": {
       "spark_version": "7.3.x-scala2.12",
       "node_type_id": "Standard_DS3_v2",
       "num_workers": 2
       },
       "spark_submit_task": {
       "parameters": [
           "--class",
            "org.apache.spark.examples.SparkPi",
            "dbfs:/FileStore/sparkpi_assembly_0_1.jar",
            "10"
            ]
        }
    }
)
if response.status_code == 200:
  print(response.json())
else:
  print("Error launching cluster: %s: %s" % (response.json()["error_code"], response.json()["message"]))

Answer 1

Databricks 的作业可以通过两种方式执行(参见 docs):

• 在新集群上 - 这就是您现在的做法
• 在现有集群上 - 删除 new_cluster block ，并添加包含现有集群 ID 的 existing_cluster_id 字段。如果您还没有集群，那么您可以通过 Cluster API 创建它

当您创建一个作业时，您将获得可用于编辑作业或删除作业的作业 ID。您还可以使用 Run Now API 启 Action 业.但是，如果您只想执行作业而不想在 UI 中创建作业，那么您需要查看 Run Submit API .这两个 API 都会返回特定作业运行的 ID，然后您可以使用 Run Get API获取工作状态，或 Run Get Output API得到执行结果。