azure - 在 Databricks 作业 API 中传递 JVM 参数

Question

我想使用 Databricks 中的作业 API 将 JVM 参数传递给 REST 请求。有可能做到吗？任何提示都会有帮助。

类似于 Spark 作业的 -Dconfig-file=app.conf 。

Answer 1

您可以在 REST API 作业中使用“spark_conf”属性。

spark_conf:包含一组可选的、用户指定的 Spark 配置键值对的对象。您还可以分别通过spark.driver.extraJavaOptions和spark.executor.extraJavaOptions向驱动程序和执行程序传递一串额外的JVM选项。

示例: Spark confs: {"spark.speculation": true, "spark.streaming.ui.retainedBatches": 5} 或 {"spark.driver.extraJavaOptions": "-verbose: gc -XX:+PrintGCDetails"}

如何在 Jobs API 中使用:要创建启用表访问控制的集群，请在请求正文中指定以下 Spark_conf 属性:

curl -X POST https://<databricks-instance>/api/2.0/clusters/create -d'
{
  "cluster_name": "my-cluster",
  "spark_version": "5.2.x-scala2.11",
  "node_type_id": "Standard_DS3_v2",
  "spark_conf": {
    "spark.databricks.acl.dfAclsEnabled":true,
    "spark.databricks.repl.allowedLanguages": "python,sql"
  },
  "num_workers": 1,
  "custom_tags":{
     "costcenter":"Tags",
     "applicationname":"Tags1"
  }
}'

更多详情，请参阅“API examples”和“How to add spark configuration”。